概要

調理行動において「ねぎを洗う」「卵を割る」「炒める」といった行動を認識し，調理の技能評価や改善に役立てることを目指す

最終目標

調理の技能評価や改善のための，行動認識 と 位置推定 と 手順書 を組み合わせた調理行動の分析

• 行動認識: 3次元の骨格情報 から、時間ごとの行動の確率が得られる
• 位置推定: 作業者の位置情報 から 場所ごとの正しい行動が得られる
• 手順書: 順序と時間 から 時系列における正しい行動 が絞り込める

これらを相補的に用いて行動認識精度の向上を目指す

情報処理学会 第87回全国大会 まで

• mocopiを用いて調理行動をセンシングし、3次元の骨格情報を取得
• 骨格情報から機械学習を用いて行動認識
• 手順書と位置情報の有用性の確認

DICOMO 2025 シンポジウム / ICMU 2025 まで

• 正解の位置情報と手順書があった場合の精度向上の検証

今後の課題

• 実際に位置推定を行う
  • 現在は位置情報は手動で決定している
• 相補的に行動認識精度を向上させる
  • 現在は一方的な補正
• 手順書による作業時間の考慮
  • 作業時間を考慮していない
• より柔軟な工程順の考慮
  • 本来のレシピは工程順の入れ替わりがある