概要

調理行動において「ねぎを洗う」「卵を割る」「炒める」といった行動を認識し，調理の技能評価や改善に役立てることを目指す

最終目標

調理の技能評価や改善のための，行動認識 と 位置推定 と 手順書 を組み合わせた調理行動の分析

• 行動認識: 3次元の骨格情報 から、時間ごとの行動の確率が得られる
• 位置推定: 作業者の位置情報 から 場所ごとの正しい行動が得られる
• 手順書: 順序と時間 から 時系列における正しい行動 が絞り込める

これらを相補的に用いて行動認識精度の向上を目指す

情報処理学会 第87回全国大会 まで

• mocopiを用いて調理行動をセンシングし、3次元の骨格情報を取得
• 骨格情報から機械学習を用いて行動認識
• 手順書と位置情報の有用性の確認

DICOMO 2025 シンポジウム / ICMU 2025 まで

• 正解の位置情報と手順書があった場合の精度向上の検証

今後の課題

• 実際に位置推定を行う
  • 現在は位置情報は手動で決定している
• 相補的に行動認識精度を向上させる
  • 現在は一方的な補正
• 手順書による作業時間の考慮
  • 作業時間を考慮していない
• より柔軟な工程順の考慮
  • 本来のレシピは工程順の入れ替わりがある
    
    # 概要

    調理行動において「ねぎを洗う」「卵を割る」「炒める」といった行動を認識し，調理の技能評価や改善に役立てることを目指す

    
    

    # 最終目標

    調理の技能評価や改善のための，行動認識 と 位置推定 と 手順書 を組み合わせた調理行動の分析

    
    

    - 行動認識: 3次元の骨格情報 から、時間ごとの行動の確率が得られる

    - 位置推定: 作業者の位置情報 から 場所ごとの正しい行動が得られる

    - 手順書: 順序と時間 から 時系列における正しい行動 が絞り込める

    
    

    これらを相補的に用いて行動認識精度の向上を目指す

    
    

    # 情報処理学会 第87回全国大会 まで

    - mocopiを用いて調理行動をセンシングし、3次元の骨格情報を取得

    - 骨格情報から機械学習を用いて行動認識

    - 手順書と位置情報の有用性の確認

    
    

    <iframe width="100%" height="500px" src="https://files.satooru.me/2025-03-%E5%85%A8%E5%9B%BD%E5%A4%A7%E4%BC%9A.pdf"></iframe>

    
    

    # DICOMO 2025 シンポジウム / ICMU 2025 まで

    - 正解の位置情報と手順書があった場合の精度向上の検証

    
    

    <iframe width="100%" height="500px" src="https://files.satooru.me/2025-06-dicomo.pdf"></iframe>

    
    

    # 今後の課題

    - 実際に位置推定を行う

    - 現在は位置情報は手動で決定している

    - 相補的に行動認識精度を向上させる

    - 現在は一方的な補正

    - 手順書による作業時間の考慮

    - 作業時間を考慮していない

    - より柔軟な工程順の考慮

    - 本来のレシピは工程順の入れ替わりがある