梶研 [Unity で複数人の動作を可視化]

2024年01月09日

Unity で複数人の動作を可視化

出席率

3年セミナー：??%

スケジュール

短期的な予定

[ ] mocopi でセンシング(~12月)
- [x] mocopi x Unity
- [x] 色んな動作をとる
- [x] 誤差を計測(簡易)
- [x] 動作をグラフ化
- [x] bvhをパースするパッケージを作る
- [x] csv に書き出せるアプリを作る
- [x] 複数人の絡みを取ってみる
- [x] ブラウザで動作を確認できるようにする(gLTF形式の理解)
- [x] Unity で複数人の動作を可視化する
- [ ] 一連のやり方を esa にまとめる
[ ] mocopi と action slam2
- ?

長期的な予定

1月研究の方針を決める & 進め方を決める

進捗報告

Unity で複数人の動作を可視化する

前回: Unityちゃんでやってみたら、ピンク(テクスチャが無し)になってしまった

対応: トゥーンシェーダーデータをインストールする参考

懸念点

再生した時、Unity上の世界座標が原点なのか、モデルの初期位置が原点なのか

(0, 0) スタート

(-4, -4) スタート

モデルの初期位置が原点となることがわかった

→ モデルの位置を調整することで位置関係を再現できる

問題点

bvhの最初のデータが (0, 腰の位置, 0)、

数フレーム後から正しい位置になっている

→ モデルの初期位置とデータの正しい位置は異なり、テレポートするため調整が面倒

最初の一瞬で近づいている

このテレポートを考慮して初期位置を調整している

対応

bvh から Unity で再生できる fbx形式に変換する時に処理を行う

開始時の (x, z) = (0, 0) となっているデータを削除
0フレーム目の位置が (x, z) = (0, 0) となるように調整
bvh から fbx に変換する

<summary>データを処理するプログラム</summary>

from mcp_persor import BVHparser
import sys
import argparse

parser = argparse.ArgumentParser()
parser.add_argument('file', type=str, help='input mocopi record file *.bvh')

args = parser.parse_args(sys.argv[sys.argv.index('--') + 1:])

bvhp = BVHparser(args.file)

# データのない箇所を削除
motion_df = bvhp.get_motion_df()
motion_df = motion_df[
    (motion_df['root_Xposition'] != 0) | (motion_df['root_Zposition'] != 0)
]

# 位置と回転をリセット
reset_channels = ['root_Xposition', 'root_Zposition', 'root_Yrotation']
for c in reset_channels:
    motion_df[c] = motion_df[c] - motion_df.iloc[0][c]

# dataframeを更新
bvhp.set_motion_df(motion_df)

new_file = f"{args.file[:-4]}-reset.{args.file[-3:]}"
bvhp.to_bvh(new_file)

# new_file を標準出力する
print(new_file)

</details>