アイコン

佐藤さとる

梶研 [夏休みを満喫してました & 今夜頑張ったらここに進捗が入ります]

2024年09月24日

thumbnail

夏休みを満喫してました & 今夜頑張ったらここに進捗が入ります

出席率

  • 3年セミナー：undefined%

スケジュール

短期的な予定

  • ST-GCN の目処が立ったら考える

長期的な予定

  • 2年生のうちに論文書き上げたい

進捗報告

(研究とは離れますが) 論文を漁ってました

https://cir.nii.ac.jp/all?q=%E7%B7%8F%E5%90%88%E7%A0%94%E7%A9%B6%E5%A4%A7%E5%AD%A6%E9%99%A2%E5%A4%A7%E5%AD%A6+%E3%83%9A%E3%83%B3%E3%82%AE%E3%83%B3&count=20&sortorder=0

https://www.nipr.ac.jp/info2023/20231226.html
https://www.sciencedirect.com/science/article/pii/S0003347223002968

今夜頑張ったら以下に進捗が入ります

データセットを準備

NTU RGB+D 120

NTU RGB+D が60種類の動作のデータセット(A1-A60)
NTU RGB+D 120 が NTU RGB+D を拡張した120種類のデータセット(A1-A120)

A1. 水を飲む。
A2. 食事/おやつを食べる。
A3. 歯磨き。
A4. 髪をブラッシングする。
A5. ドロップ。
A6. ピックアップ。
A7. 投げる。
A8. 座る。
A9. 立ち上がる（座った状態から）。
A10. 拍手。
A11. 読書。
A12. 書くこと。
A13. 紙を破ります。
A14.ジャケットを着用してください。
A15. ジャケットを脱ぎます。
A16. 靴を履きます。
A17. 靴を脱ぐ。
A18. メガネをかけます。
A19. メガネを外してください。
A20. 帽子をかぶってください。
A21. 帽子を脱ぎます。
A22.元気を出しなさい。
A23. 手を振る。
A24. 何かを蹴る。
A25. ポケットに手を入れます。
A26. ホッピング（片足ジャンプ）。
A27. ジャンプします。
A28. 電話をかける/電話に出る。
A29. 携帯電話/タブレットで遊ぶ。
A30. キーボードで入力する。
A31. 指で何かを指差す。
A32. 自撮りをする。
A33. 時間を確認する（時計から）。
A34. 両手をこすり合わせます。
A35. うなずく/お辞儀をする。
A36. 首を横に振る。
A37.顔を拭きます。
A38. 敬礼。
A39. 手のひらを合わせます。
A40. 手を前に交差させます（ストップと言います）。
A41. くしゃみ/咳。
A42. 驚異的。
A43. 落ちる。
A44. 頭を触る（頭痛）。
A45. 胸を触る（腹痛/心臓の痛み）。
A46. 背中を触る（腰痛）。
A47. 首を触る（首痛）。
A48. 吐き気または嘔吐の症状。
A49. 扇風機を使う（手または紙で）/暖かく感じる。
A50. 他人を殴る/平手打ちする。
A51. 他人を蹴る。
A52. 他人を押す。
A53. 他の人の背中を軽くたたく。
A54. 相手を指差す。
A55. 他の人を抱きしめる。
A56. 他の人に何かを与えること。
A57. 他人のポケットを触る。
A58. 握手。
A59. 互いに向かって歩いていく。
A60. 互いに離れて歩く。
A61. ヘッドホンを装着します。
A62. ヘッドホンを外します。
A63. バスケットに向かってシュートする。
A64. バウンドボール。
A65. テニスのバットスイング。
A66. 卓球ボールをジャグリングする。
A67. 静かに。
A68. 髪をはじく。
A69. 親指を立てます。
A70. 親指を下に向けてください。
A71. OKサインを出します。
A72. 勝利のサインを作ります。
A73. ホチキス留めの本。
A74. お金を数える。
A75. 爪を切る。
A76. 紙を切る（はさみを使う）。
A77. 指を鳴らす。
A78. ボトルを開ける。
A79. 嗅ぐ。
A80.しゃがみます。
A81. コインを投げます。
A82. 紙を折る。
A83. 紙を丸める。
A84.マジックキューブで遊ぶ。
A85. 顔にクリームを塗ります。
A86. 手の甲にクリームを塗ります。
A87. バッグに詰めます。
A88. バッグを外します。
A89. 何かをバッグに入れる。
A90. バッグから何かを取り出します。
A91. 箱を開けます。
A92. 重い物を動かす。
A93. 拳を振ります。
A94. 帽子を投げる。
A95. 手を上げます（両手）。
A96. 腕を交差させる。
A97. 腕を回す。
A98. 腕を振る。
A99.その場で走る。
A100. バットキック（後ろ向きに蹴る）。
A101. クロストゥタッチ。
A102. サイドキック。
A103.あくび。
A104. 自分を伸ばす。
A105. 鼻をかむ。
A106. 何かで他の人を殴る。
A107. 他の人に向かってナイフを振り回す。
A108. 他人を倒す（体で殴る）。
A109. 他人のものを奪う。
A110. 銃で他人を撃つ。
A111. 歩いて行く。
A112. ハイタッチ。
A113. 乾杯して飲みましょう。
A114. 他の人と一緒に何かを運ぶ。
A115. 他の人の写真を撮る。
A116. 他の人をフォローする。
A117. 他の人の耳元でささやく。
A118. 他の人と物を交換する。
A119. 手で誰かを支える。
A120. 指当てゲーム（じゃんけんをする）。

Pythonで扱う準備

  1. Google Drive からダウンロード
  2. Pythonのコードを準備
  3. txt2npy.py の save_npy_path と load_txt_path を変える
  4. エラー吐いた部分を try-except で囲う

skeltonファイルを元にnpyファイルが大量に生成されたがよくわからん

NTU RGBD 120 に含まれるデータ

  • RGB動画
    • 普通の動画
    • OpenCVとかで推定する場合
  • Depthマップ
    • 動画だが、各ピクセルが距離を表している
  • 3D Skeletalデータ
    • 3Dの骨格のデータ
    • HDF5形式 らしい
    • 今回使いたいのはこれ

npyファイルを1つ読み込んでみる

1data = np.load("./data/raw_npy/S001C001P001R001A001.skeleton.npy", allow_pickle=True).item()
2data.keys() # dict_keys(['file_name', 'nbodys', 'njoints', 'skel_body0', 'rgb_body0', 'depth_body0'])

rgb_body0, depth_body0, skel_body0 がそれぞれに対応していそう

1data['skel_body0']

array([[[0.2181153 , 0.1725972 , 3.785547 ],
[0.2323292 , 0.4326636 , 3.714767 ],
[0.2457799 , 0.6877249 , 3.633897 ],
...,
[0.0989792 , 0.3459614 , 3.527539 ],
[0.08710064, 0.2988889 , 3.54619 ],
[0.1268453 , 0.2813963 , 3.549525 ]],
[[0.2184443 , 0.1737018 , 3.789234 ],
[0.2332372 , 0.4333165 , 3.718687 ],
[0.2472661 , 0.6878656 , 3.638078 ],
...,
[0.1398538 , 0.3444876 , 3.5408 ],
[0.09427723, 0.3098043 , 3.573076 ],
[0.1166691 , 0.2838916 , 3.560778 ]],
[[0.2182214 , 0.1738454 , 3.790635 ],
[0.2331048 , 0.4337439 , 3.719351 ],
[0.2471501 , 0.6885785 , 3.63833 ],
...,
[0.1213269 , 0.3417213 , 3.529923 ],
[0.09587754, 0.3144111 , 3.551853 ],
[0.1219285 , 0.2822448 , 3.550925 ]],
...,
...
[0.2831611 , 0.7158749 , 3.623616 ],
...,
[0.19339 , 0.2853357 , 3.6 ],
[0.1276751 , 0.8071071 , 3.43387 ],
[0.1140334 , 0.7601054 , 3.444 ]]])

骨格の情報ぽい

1len(data['skel_body0']) # 103
2len(data['skel_body0'][0]) # 25
3len(data['skel_body0'][0][0]) # 3
4
5data['njoints'] # 25

よって (時間, 骨格, 座標) のように思われる
どの動作かを示しているのはどれ？

ファイル名: S001C001P001R001A001.skeleton.npy

進路関係

pluszero

長期インターン(バイト)中

総研大 極域科学コース

ここならすごく院進したい
ただし今の学力では絶対無理（特にTOIECと小論文）
一旦論文を漁ってみようと思う
https://www.nipr.ac.jp/soken/

余談

ぶどう狩りした

サークルでぶどう狩りをした
もうぶどうは食べたくない
IMG_7725.JPG (6.1 MB)

花火した

IMG_7833.JPG (2.3 MB)

研究室旅行行った

美味しかった
IMG_7845.JPG (3.5 MB)

ジェンガ最高
IMG_7853.JPG (3.8 MB)

新たな推しにガー目が追加された
正面からの何とも言えない顔と前中後ろにあるジブリ世界の飛行機にありそうな不思議なヒレに一目惚れした
IMG_7871.JPG (2.8 MB)

ペンギンを愛でた
IMG_7891.JPG (2.1 MB)
IMG_7927.JPG (4.1 MB)

HackUしてきた

この夏は何の実績も残っていなかったので悪あがきしてきた
with 誰か2人

52779E24-1B41-4EDE-B7EA-85352027BB95_1_105_c.jpeg (352.7 kB)

多くの方がアイデアと実装力と実装方法とUIを褒めてくれて凄く嬉しかった

Happy Hacking 賞(参加者の投票)を貰えた！
IMG_7959.JPG (4.2 MB)
IMG_7960.JPG (4.6 MB)

名電&愛工大kkの3年生の先輩もいた

昨年のhackU名古屋で覚えてくれていた社員さんもいた
凄く嬉しかった
IMG_7957.JPG (3.7 MB)
IMG_7958.JPG (4.0 MB)

金沢城の外周を少しみた
IMG_7962.JPG (3.9 MB)
IMG_7965.JPG (3.5 MB)

帰った(在来線で5時間半掛かりました)
IMG_7971.JPG (4.5 MB)

リトルワールド行った

IMG_8001.JPG (4.2 MB) IMG_8004.JPG (5.7 MB) IMG_8006.JPG (2.6 MB)