エージェントとの音声対話によるマルチメディア調理コンテンツの自動制作システム

通过与座席语音对话的多媒体烹饪内容自动制作系统

• 批准号: 18700120
• 负责人: 山肩 洋子
• 金额: $ 2.18万
• 依托单位: National Institute of Information and Communications Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18700120/
• 关键词: コンテンツ; マルチメディア; エージェント; 調理; 音声対話; 自然言語理解

一般の調理者が自作の料理のレシピを作成し,WEBを通じて公開する例が急増している。料理法は言葉だけで説明するのは難しいので,一般の調理者にもテレビの料理番組のような教示コンテンツを作れるよう,調理中にエージェントが調理者と対話することで音声解説を加えたり,映像編集を行うシステムの実現をめざした。本年度は主に調理映像とレシピとの対応付けに注目し,(i)調理開始から終了までの一連の調理映像をレシピと対応付ける仕組みと,(ii)調理者の手の動きから食材の変遷を獲得する仕組みについて研究を行った。まず(i)については,調理の過程をフローグラフで表現する方法を利用し,映像認識結果とレシピをグラフレベルで対応付けることで,映像認識にある程度誤りが発生しても最適なマッチングを選ぶことで正しく対応付けることができることを示した。次に(ii)については,(i)において食材の変遷を認識することが重要であることが示されたことから,調理台を上方から撮影した映像より各食材を追跡することを考えた。食材は見た目が多様で,加工を受けて変化し,かつ混ぜられることでその個数も変わるため,視覚的特徴のみによる追跡は困難である。しかし食材の変化にはかならず調理者が介在することから,調理者の手の動きを抽出することで変化した食材を特定し,食材の追跡を行う仕組みを提案した。以上のような情報システムによる調理活動支援の試みは,日々の食事管理により病気を未然に防ぐことの必要性が叫ばれている昨今では,より重要なものとなっている。そこで京都大学教授の美濃導彦を中心に,電子情報通信学会の第三種研究会として「料理メディア研究会」を発足し,申請者もその幹事補佐として,調理支援に限らず健康医学や食育などの幅広い観点から人間の食を支援する情報システムのありかたを議論する活動を行ったことも本研究の成果の一つである。

In general, the caretaker does his own work, and the WEB is open to the public, as is the case. The method of management does not tell you that there is a problem, and that the general manager does not know how to do it, and that the general manager can tell you how to do it. In the process, you can understand the sound of the sound, and the image editing set will make you understand the sound and sound. This year, we have paid a lot of attention to the management of the image. (I) We have started to pay a lot of attention to the management of the image. We have started to pay the attention of the staff members. (ii) the management staff has been paid a lot of attention. (I) the management system has been paid a lot of attention this year. This is the most important part of the process. This is the best way to realize that the method is based on the use of the method. The image results show that the error level of the image is not correct, and the image is not correct. In the second place (ii), (I) make sure that the ingredients are not known, and that they are important to show that they are important. At the top of the table, there is a summary of images, and each ingredient is tracked. There are many problems in the processing of raw materials, such as the number of samples, and the number of samples. The manufacturer of food products is recommended in the food market, and the manager is responsible for the extraction of food products. The food products are used to make specific food products, and the food products are followed up by the marketing staff. The above information is related to the need for health care activities to support the management of food and food management. The need for prevention and treatment is called health care yesterday and today. A professor at Kyoto University, the United States and Japan, the third kind of research association of the Institute of computer and Information Communications will be invited to participate in the study of the Food and Technology Research Institute, and the applicants will offer assistance to the applicants. To support health, medicine, food, education, food, food, food and food.

项目成果

京都大学学術情報メディアセンターSmart Kitchen Prolect ホームページ

京都大学学术信息和媒体中心智能厨房项目主页

「1に2を混ぜてください」 「1ってなんだっけ?」-調理法を音声で教示するための中間物の呼称の決定・理解-"

``请将 1 与 2 混合 ``1 是什么意思？ - 确定并理解中间体的名称，通过语音教授烹饪方法 -

• 发表时间: 2007
• 作者: 青山秀紀;尾関基行;中村裕一;山肩 洋子
• 通讯作者: 山肩 洋子