梶研 [GCN完全に理解した]

2024年08月20日

GCN完全に理解した

出席率

• 3年セミナー：??%

スケジュール

短期的な予定

• [ ] 8/27 ST-GCN理解する

長期的な予定

• 夏休み中
  • ST-GCNの理解
  • ST-GCNで動作推定を実装
• ??
  • お料理の手順を考慮した動作推定を実装

目的

料理中の動作を mocopi を使ってセンシングする。

このデータから最終的に位置推定を行う。

• 一定の区間でどの動作をしているかを当てる (クラス分類)
• 料理の手順を元にシーン検知を補正する
  • 例) 焼く動作 → 卵割る動作 はおかしい
• 位置とシーンを相補的に補正する
  • 例) 冷蔵庫の前で焼く動作 はおかしい
  • これはもっと先(来年とか)

進捗報告

PyTorchチュートリアル 進めてみる

https://yutaroogawa.github.io/pytorchtutorialsjp/

「強化学習（DQN）チュートリアル」までやった

よくわからんかったが、基礎的なところは知った

GCN 理解する

ST-GCN を理解する前に、まずは GCN を理解しよう

https://kjlb.esa.io/posts/6230

完全に理解した

進路関係

余談

白山古墳いった

通学路のすぐ横にあって気になってた古墳

岩崎城のちょい南側にあるよ

Tauri でムービングライト動かしてみた

React から Rust にデータを渡した上で、Rust で DMX プロトコルを使用して操作した

うれしい

<iframe width="1238" height="696" src="https://www.youtube.com/embed/HskeC8A-dH0" title="Tauriでムービングライトを操作" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

React UI コンポーネント(ライブラリ)を作った

タイムラインでムービングライトを制御できるようにしたかったがいいライブラリがなかった

(イメージは AfterEffects のタイムライン)

なので自作した(一切外部ライブラリを使ってない)

<video controls width="480" alt="画面収録 2024-08-19 1.19.30.mov (1.6 MB)" src="https://esa-storage-tokyo.s3-ap-northeast-1.amazonaws.com/uploads/production/attachments/13979/2024/08/20/148142/4b7ed7a4-b0f3-4917-a6d6-49c0b28fe7e6.mov"></video>