Multimedia Integration System for Cooking Video and Application Systems

烹饪视频和应用系统多媒体集成系统

• 批准号: 14380173
• 负责人: TANAKA Hidehiko
• 金额: $ 9.47万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14380173/
• 关键词: Multimedia Integration; Cooking Video; Image Analysis; Natural Language Processing

Reflecting the increasing importance of handling multimedia data, many studies are made on indexing to TV broadcast video. But there are few studies on video indexing which make use of advantage of textbook. For example, in drama, the order of scenes in the video is same as that in the scenario, but in educational programs such as cooking programs, the order of events are different in the video and in the document. So, in our task, we must gather hints from each medium and integrate them effectively. In addition to that, we take advantage of domain specific constraints and knowledge. In our system, first we create the domain specific dictionaries from many documents. By using the dictionaries, the structure of a document is analyzed. On the video side, cut detection and word spotting are done to detect semantic scene boundaries. Keywords (ingredients, seasonings or, verbs) in a document are specific to each video, so they can be used for limited vocabulary word spotting. Finally, considering the structure of the document and the video, we associate them.

随着多媒体数据处理的日益重要，人们对电视广播视频的索引进行了大量的研究。但是利用教材的优势进行视频检索的研究还很少。例如，在戏剧中，视频中的场景的顺序与场景中的顺序相同，但是在诸如烹饪节目的教育节目中，事件的顺序在视频和文档中不同。因此，在我们的任务中，我们必须从每种媒介中收集提示并有效地整合它们。除此之外，我们还利用了特定领域的约束和知识。在我们的系统中，首先我们从许多文档中创建特定于域的字典。通过使用字典，文档的结构进行分析。在视频方面，进行剪切检测和单词定位以检测语义场景边界。文档中的关键词（成分、调味料或动词）特定于每个视频，因此它们可以用于有限的词汇单词识别。最后，考虑到文档和视频的结构，我们将它们关联起来。

项目成果

T.Karasawa, R.Hamada, S.Sakai, H.Tanaka: "Extraction of Knowledge on Ingredients and Cooking Steps from Cookbooks (in Japanese)"Proc.66^<th> IPSJ National Conv.. Vol.2. 119-120 (2004)

T.Karasawa、R.Hamada、S.Sakai、H.Tanaka：“从食谱中提取有关成分和烹饪步骤的知识（日语）”Proc.66^<th> IPSJ National Conv.. Vol.2。

三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "動きに基づく料理映像の自動要約"情報処理学会コンピュータビジョンとイメージメディア研究会論文誌. vol.44, no.SIG9. 21-29 (2003)

Koichi Miura、Reiko Hamada、Ichiro Ide、Shuichi Sakai、Hidehiko Tanaka：“基于运动的烹饪视频自动摘要”日本计算机视觉和图像媒体研究组信息处理协会第 44 卷，第 21-29 期。 (2003)

M.Takano, K.Miura, R.Hamada, S.Sakai, H.Tanaka: "Object detection from cooking video by restriction from accompanying text information (in Japanese)"Proc.65^<th> IPSJ National Conv.. Vol.2. 255-256 (2003)

M.Takano、K.Miura、R.Hamada、S.Sakai、H.Tanaka：“通过限制随附文本信息从烹饪视频中进行对象检测（日语）”Proc.65^<th> IPSJ National Conv.. Vol

唐澤隆, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "料理教材テキストからの素材と調理法に関する知識の抽出"第66回情報処理学会全国大会講演論文集. vol.2. 119-120 (2004)

Takashi Karasawa、Reiko Hamada、Ichiro Ide、Shuiichi Sakai、Hidehiko Tanaka：“从烹饪教科书中提取有关成分和烹饪方法的知识”第 66 届日本信息处理学会全国会议记录第 119-120 卷（2004 年）。 ）

三浦宏一, 高野 求, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "料理映像の構造解析による調理手順との対応付け"電子情報通信学会論文誌. J86-D-II, no.11. 1647-1656 (2003)

Koichi Miura、Motomu Takano、Reiko Hamada、Ichiro Ide、Shuiichi Sakai、Hidehiko Tanaka：“通过烹饪视频的结构分析与烹饪程序进行对应”，电子信息与通信工程师学会汇刊，编号 J86-D-II。 11. 1647年-1656年（2003年）