エージェントとの音声対話によるマルチメディア調理コンテンツの自動制作システム

点击翻译按钮获取中文摘要

一般の調理者が自作の料理のレシピを作成し,WEBを通じて公開する例が急増している。料理法は言葉だけで説明するのは難しいので,一般の調理者にもテレビの料理番組のような教示コンテンツを作れるよう,調理中にエージェントが調理者と対話することで音声解説を加えたり,映像編集を行うシステムの実現をめざした。本年度は主に調理映像とレシピとの対応付けに注目し,(i)調理開始から終了までの一連の調理映像をレシピと対応付ける仕組みと,(ii)調理者の手の動きから食材の変遷を獲得する仕組みについて研究を行った。まず(i)については,調理の過程をフローグラフで表現する方法を利用し,映像認識結果とレシピをグラフレベルで対応付けることで,映像認識にある程度誤りが発生しても最適なマッチングを選ぶことで正しく対応付けることができることを示した。次に(ii)については,(i)において食材の変遷を認識することが重要であることが示されたことから,調理台を上方から撮影した映像より各食材を追跡することを考えた。食材は見た目が多様で,加工を受けて変化し,かつ混ぜられることでその個数も変わるため,視覚的特徴のみによる追跡は困難である。しかし食材の変化にはかならず調理者が介在することから,調理者の手の動きを抽出することで変化した食材を特定し,食材の追跡を行う仕組みを提案した。以上のような情報システムによる調理活動支援の試みは,日々の食事管理により病気を未然に防ぐことの必要性が叫ばれている昨今では,より重要なものとなっている。そこで京都大学教授の美濃導彦を中心に,電子情報通信学会の第三種研究会として「料理メディア研究会」を発足し,申請者もその幹事補佐として,調理支援に限らず健康医学や食育などの幅広い観点から人間の食を支援する情報システムのありかたを議論する活動を行ったことも本研究の成果の一つである。