梶研 [関節の座標を出したい]

2024年04月27日

関節の座標を出したい

出席率

• 3年セミナー：??%

スケジュール

短期的な予定

• [ ] mocopi と お料理センシング
  • [x] シーンとランドマークを決める(~2月上旬)
  • [x] SVM で動作判別する
  • [ ] 機械学習を深める
    • [x] 機械学習の手法を知る
    • [x] 使う手法を決める
    • [x] データセットを探す
    • [x] LSTM してみる
    • [x] 主成分分析してみる
    • [x] クラスタリング
    • [ ] 自己相関
  • [ ] お料理センシング
    • [x] お料理でどんな動作があるかを知る
    • [x] レシピを決める
    • [ ] センシングする
    • [ ] ?
  • [ ] 論文書く
  • [ ] 発表
• [ ] BLEビーコンのuuidを書き換えたい
  • [x] 通信内容を読み解く
  • [ ] shellコマンドで通信してみる
  • [ ] 実装してみる
• [ ] BookWorm
  • [x] Pasori と デスクトップアプリを接続する(技術検証)
  • [x] nfc読み込み機能 & 画面を作る
  • [ ] API と連携させる
  • [x] 管理者画面を作る

長期的な予定

• ~?月 シーン検知?をする
• ~?月 論文を書く
• ~?月 論文発表したい

進捗報告

目的

料理中の動作を mocopi を使ってセンシングする。

このデータから最終的に位置推定を行う。

• 一定の区間でどの動作をしているかを当てる (クラス分類)
• 料理の手順を元にシーン検知を補正する
  • 例) 焼く動作 → 卵割る動作 はおかしい
• 位置とシーンを相補的に補正する
  • 例) 冷蔵庫の前で焼く動作 はおかしい

表示してみた

ぽくみえるがおかしい.

スプレッドシートで手動でやってみた

OFFSET をそのまま表示

飛行機みたい. 違う

OFFSET をROOTからその関節まで足す

やり方は間違えてない. 過去に作ったライブラリに問題がありそう

Pythonで出した座標をExcelで表示

できてたぽい

y と z

おそらくメモリ間隔が間違えていたみたい

よくみたら z軸 だけ間隔が狭かった.

できた

まだ角度が反映できていない

はちゃめちゃなった

角度の単位を rad にしてみた

左肘以外は大丈夫ぽい？

blender で確認したら全然違った

難しい

TODO

• 伊達巻センシングする
• BVHの1フレームのデータを入力値として、各関節の座標を出力する関数をいい感じに実装する
  • とりあえず座標が取れるようにする
  • コードをより綺麗にする
  • 自作のBVHパースライブラリ bvh_persor をアップデートする
• 体の向きをグラフで出せるようにする
• 体の向きから各関節の座標 を修正するようにする
• 前に作成したBVHをPythonで扱う mcp_persor は大量のデータに対応できない問題に対処する
  • 必要なフレームだけ読み込むみたいな?

再来週からしっかり研究していきます <span style="font-size: 10px">多分</span>

進路関係

pluszero(インターン先) の人にも唐突に院進を勧められた

院進するの?

僕) 今の所半々です

院進しながら弊社で働いている人もいてね ...

余談

伊賀に行った

姉の卒論のために組紐した

<iframe width="493" height="876" src="https://www.youtube.com/embed/vIsICjVqs3E" title="" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>