梶研 [お料理センシング]

2024年04月02日

お料理センシング

出席率

• 3年セミナー：??%

スケジュール

短期的な予定

• [ ] mocopi と お料理センシング
  • [x] シーンとランドマークを決める(~2月上旬)
  • [x] SVM で動作判別する
  • [ ] 機械学習を深める
    • [x] 機械学習の手法を知る
    • [x] 使う手法を決める
    • [x] データセットを探す
    • [x] LSTM してみる
    • [x] 主成分分析してみる
    • [x] クラスタリング
    • [ ] 自己相関
  • [ ] お料理センシング
    • [x] お料理でどんな動作があるかを知る
    • [x] レシピを決める
    • [ ] センシングする
    • [ ] ?
  • [ ] 論文書く
  • [ ] 発表
• [ ] BLEビーコンのuuidを書き換えたい
  • [x] 通信内容を読み解く
  • [ ] shellコマンドで通信してみる
  • [ ] 実装してみる
• [ ] BookWorm
  • [x] Pasori と デスクトップアプリを接続する(技術検証)
  • [x] nfc読み込み機能 & 画面を作る
  • [ ] API と連携させる
  • [x] 管理者画面を作る

長期的な予定

• ~?月 シーン検知?をする
• ~?月 論文を書く
• ~?月 論文発表したい

進捗報告

目的

料理中の動作を mocopi を使ってセンシングする。

このデータから最終的に位置推定を行う。

• 一定の区間でどの動作をしているかを当てる (クラス分類)
• 料理の手順を元にシーン検知を補正する
  • 例) 焼く動作 → 卵割る動作 はおかしい
• 位置とシーンを相補的に補正する
  • 例) 冷蔵庫の前で焼く動作 はおかしい

センシングデータの保存を楽にする

GitHub が大好きなのでセンシングデータ(BVHファイル) もGitHub で管理したい

1ファイル100MB を超えてしまうと GitHub では管理できない

→ ファイルを分割/復元するスクリプトを書く

分割

before

yarn split

after

復元

before

yarn restore

after

買い物完了

はんぺんと卵をペースト状にするために "フードプロセッサ" などが必要

梶先生< "すりこぎ" もいいかも

→ ダイソーを巡ったがいずれも見つからず 諦めて amazon した

瀬戸のダイソーにあった

進路関係

余談

Sony のワークショップに参加した

名電の情報システム部に混ざって参加した

ものづくりの効率化の話と実践をしてきた(Sonyすごい)

ものづくりのWSでプログラミングではないけれど、いかに効率的に製品を制作するかのワークショップです。発想力と理系の力が必要です。特に資料はありませんが、量産ものづくりの世界を体験できるもので、簡単な箱の大量生産ですが奥が深いです。システムを開発する人は、こういった現場のことを知っておくことも私は大切なことだと思ってます。ちなみに主催はSONY創業者の血縁（孫）盛田さんです。関連会社の社長などをされているSONYのかなり凄い方です。そんな方とお会いして、いろいろお話しする機会は貴重ですので優秀な皆さんでぜひ。

No Picture

OSS にコントリビュートしてみた

good-first-issue がたくさんあるということでやってみた

まじ簡単だけどとても親切でやりやすかったので是非

yamada-ui PR#1114