梶研 [mocopi センシング の環境を整える]

2023年11月27日

mocopi センシング の環境を整える

出席率

• 3年セミナー：??%

スケジュール

短期的な予定

• [ ] mocopi でセンシング
  • [x] mocopi x Unity
  • [x] 色んな動作をとる
  • [x] 誤差を計測(簡易)
  • [x] 動作をグラフ化
  • [x] bvhをパースするパッケージを作る
  • [x] csv に書き出せるアプリを作る
  • [x] 複数人の絡みを取ってみる
  • [ ] 複数人の動作を可視化できるアプリを作る
• [ ] 研究をしたい
  • [ ] テーマを考える
  • [ ] 研究する
  • [ ] 論文を書く
  • [ ] 発表する

長期的な予定

• 1月~ 研究
• 12月 WiNF2024

進捗報告

複数人の動作を可視化できるアプリを作る

現状の手段

Unity

• bvhを再生するにはblenderでfbx形式に処理する必要がある
• UDPでデータを送信すれば再生できる

BVH sender (SONY公式)

• BVHを再生できる
• 複数同時に再生することができない
• そもそも再生目的でない

目標

BVHファイルから直接アニメーションを再生できるようにする

ただし複数ファイルを同時に再生できるようにすること

進捗

<iframe width="1169" height="661" src="https://www.youtube.com/embed/lQQizd3Ihs8" title="mocopi viewer(仮) 途中経過" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

体全体と上半身 (体, 頭, 手など) の動きは再現できた。

下半身の動きがそのままでは荒ぶってしまう

→ bvhとvrm(モデル) のボーンの違い？

<iframe width="1169" height="661" src="https://www.youtube.com/embed/8UKofJtQUXs" title="mocopi viewer(仮) 途中経過 下半身荒ぶっているver" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

ポイント

回転量の単位が違う

bvh形式: 度数法(deg)

gLTF形式: 弧度法(rad)

回転量が一部異なる

ex) root(腰)のy軸の回転量は bvh + 180度

　 上腕のz軸の回転量は -bvh

今後

• 下半身の動作も再現できるようにする
• 複数ファイルあるときの進行時間を揃える
  • bvhのフレーム数が異なる場合、2週目からずれてしまう
• 初期位置・回転量を変更できるようにする
• 他のやり方も探す
  • Unreal Engine ではbvh形式を再生できるかも？

進路関係

なし

余談

岡崎体育のライブに行ってきた

mocopi を持って行ったが、さすがに付けれる環境ではなかった。

スマホでセンシングしたが、保存に失敗した。

研究のテーマ決めの参考にしたかった...

今週もライブに行くので再戦する