梶研 [進捗停滞しています・夏休み楽しかったです]

2024年08月06日

進捗たくさんあります(予定) 停滞しています・夏休み楽しかったです

出席率

3年セミナー：??%

スケジュール

短期的な予定

8/13: ST-GCN 動く
8/20: ST-GCN 実用レベル
9/3: ST-GCN + お料理の手順

長期的な予定

~ 9/3: システム完成
~ 9/21: 評価実験
~ 10月: 論文書きたい(理想)

目的

料理中の動作を mocopi を使ってセンシングする。
このデータから最終的に位置推定を行う。

一定の区間でどの動作をしているかを当てる (クラス分類)
料理の手順を元にシーン検知を補正する
- 例) 焼く動作 → 卵割る動作はおかしい
位置とシーンを相補的に補正する
- 例) 冷蔵庫の前で焼く動作はおかしい

目標

夏休み中プログラム完成

前回までの振り返り

ST-GCNできた！
全て同じ動作となってしまう
骨格が正しい座標になってないかも
わからん

進捗報告

単純な動作を取った

最後のプログラムに突っ込んだ
意味わからん
animation-0-1.gif (1.3 MB)

わけわからんから作り直す

グラフ化
image.png (476.3 kB)

blue: 右足を前に出す
green: 右足を右に出す
yellow: 右足を右回転する
purple: 右手を右に出す
red: 右手を前に出す
gray: 持ち替え

分割したやつら

正解の骨格
スクリーンショット 2024-08-05 21.46.57.png (768.2 kB)

おかしい
スクリーンショット 2024-08-05 22.27.38.png (735.4 kB)

原因

とある関節を回転したら、その先も回転する必要があった(かもしれない)

近づいた気がする
腕が楽しそうになっている
スクリーンショット 2024-08-05 22.28.34.png (736.6 kB)

before
np.array([x_position, y_position, z_position]) @ R_y @ R_x @ R_z

after
R_y @ R_x @ R_z @ np.array([x_position, y_position, z_position])

横からは結構ぽい
スクリーンショット 2024-08-05 22.32.00.png (594.9 kB)

足がクロスしてる
~~出してる足が違う~~ 座標が反対だから気にしない
スクリーンショット 2024-08-05 22.32.17.png (564.6 kB)

違うポーズ
スクリーンショット 2024-08-05 22.35.57.png (264.6 kB)

スクリーンショット 2024-08-05 22.35.18.png (571.2 kB)

スクリーンショット 2024-08-05 22.35.43.png (565.3 kB)

間違えている気もするが、推定するには十分だと信じる

推定した
嫌な香りがする

# Epoch: 1 | Loss: 0.0322 | Accuracy: 19.0000
# Epoch: 2 | Loss: 0.0321 | Accuracy: 19.0000
# Epoch: 3 | Loss: 0.0321 | Accuracy: 19.0000
# Epoch: 4 | Loss: 0.0321 | Accuracy: 19.0000
# Epoch: 5 | Loss: 0.0321 | Accuracy: 19.0000
# Epoch: 6 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 7 | Loss: 0.0322 | Accuracy: 22.0000
# Epoch: 8 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 9 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 10 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 11 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 12 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 13 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 14 | Loss: 0.0322 | Accuracy: 22.0000
# Epoch: 15 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 16 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 17 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 18 | Loss: 0.0322 | Accuracy: 22.0000
# Epoch: 19 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 20 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 21 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 22 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 23 | Loss: 0.0322 | Accuracy: 22.0000
# Epoch: 24 | Loss: 0.0322 | Accuracy: 22.0000
# Epoch: 25 | Loss: 0.0321 | Accuracy: 22.0000
# Epoch: 26 | Loss: 0.0321 | Accuracy: 22.0000

全然だめ
image.png (27.0 kB)

機械学習をべんきょうしよう
数字の意味を"ちゃんと"理解していない
BATCH_SIZE, in_channels, , t_kernel_size...

進路関係

余談

焼肉たべた

L5Gのやつとか、サークルの名簿システムとかなんやかんやの打ち上げ
F768EA62-787E-45DF-8635-18FF0F18776E_1_105_c.jpeg (309.4 kB)

ローカル5Gについておしゃべりした

いろんな企業の方がL5Gを活かした色々展示する中で一緒に発表した
ひまわりネットワークさんや情報科の先生らがたくさん見てた

pluszero(インターン先)の懇親会行った

ボザロの虹夏ちゃんのお家

AEE2A59A-3074-47F2-AE45-109DFDFD9A08_1_102_o.jpeg (860.9 kB)

鈴木くんいた
外山さんは来なかった
1000005031.jpg (278.0 kB)

セカオワ聖地巡りした

今成

ClubEARTHを作っている頃、他のライブハウスでライブをした際に音楽業界の人から
"この音楽を世の中に届けたいです。"
と初めて言われ、喜んだメンバーがその夜になけなしのお金でビールを飲んだ場所。
それから数年経って、『Twilight City』終演後にこのお店であのときの音楽業界の人とメンバーで一緒に打ち上げを行った。
セカオワメンバー思い出の場所。

らしい
CE4023FB-D3E0-4FC4-90F7-96EE72928DAC_1_102_o.jpeg (1.1 MB)

せっかくなので鈴木くんと飲んだ
※ソフトドリンク
16DCFCB6-C34D-4FE2-913C-1259BF78FBFF_1_105_c.jpeg (290.9 kB)

club EARTH

デビュー前に自作した原点とも言えるライブハウス
E3553AFD-7BAC-4806-9C25-3030D96A274D_1_105_c.jpeg (345.6 kB)

セカオワメンバーがよく利用していた温泉
BBBBFC0A-4EEE-4524-B883-20D0AF775BDB_1_102_o.jpeg (1.5 MB)

水谷先輩と合流

63243E9E-E400-4252-85E2-2E784E510167_1_105_c.jpeg (204.1 kB)

しながわ水族館

バードマンのMVの場所

3FD11D6A-EA59-44F1-8BA2-03AB956A3892_1_102_o.jpeg (1.0 MB)

7CFB527E-C927-4F3F-945A-6085C462AF64_1_102_o.jpeg (229.5 kB)

かわいい
657A98EB-6141-4D9A-91CA-036890218E9A_4_5005_c.jpeg (72.9 kB)
E9D0FF3D-8A7F-4784-AA7C-E34D19AA7A1B_4_5005_c.jpeg (77.0 kB)