視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築

构建集成视觉和文本信息的视频搜索视频词库

• 批准号: 15017285
• 负责人: 佐藤 真一
• 金额: $ 3.2万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15017285/
• 关键词: 映像インデクシング; 映像マイニング; 映像シソーラス; トピック追跡; マルチモーダル解析

本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.平成15年度は、映像の視覚情報については、大規模放送映像アーカイブに対し映像断片照合を適用し、頻出する映像断片を映像キーワードとして抽出すると同時に、その出現パターンに基づく映像ブラウザを試作した。テキスト情報については、ニュ-ス映像の文字字幕放送に対しトピックの切り出し及びニュース映像アーカイブ中でのトピック追跡を行い、トピック構造に基づくニュース映像ブラウザを試作した。また、映像キーワード及びテキストキーワードの抽出結果を受けて、それらの共起関係に基づき、初期的な映像シソーラス構築の実験を行った。これらを通して、本研究の有効性を確認した。

This study で は, image が inner す る apparent 覚 intelligence と テ キ ス ト intelligence と を integration し た image 検 cable を be presently す る た め の image シ ソ ー ラ ス に つ い て beg す 検 る. Image シ ソ ー ラ ス に よ り, テ キ ス ト と apparent 覚 intelligence の masato even sex, who struck に づ く concept や category な ど の upper structure な ど が performance さ れ, テ キ ス ト, apparent 覚 intelligence を job す る 検 cable (テ キ ス ト に よ る apparent 覚 intelligence の 検 cable, etc.), apparent 覚 intelligence に す seaborne る テ キ ス ト キ ー ワ ー ド の automatically generated, テ キ ス ト, regard 覚 intelligence の masato に よ る upper concept の 発 see, テ キ ス ト に 応 seaborne し た apparent 覚 intelligence を with い た portrait known technique に よ る object 検 out オ ン ト ロ ジ ー の be now such as が expect さ れ る. Image シ ソ ー ラ ス の build に お い て は, be interstate の hoso image の large-scale な image ア ー カ イ ブ を using し た statistical な gimmick に よ る の automatically construct method be presently を designated し て お り, ド メ イ ン を limit ら な い general の image に も may で, ロ バ ス ト な gimmick の be presently を refers す. 15 year は pp.47-53, image の 覚 intelligence に つ い て は, large-scale and pored over image ア ー カ イ ブ に し seaborne image fragment as を applicable し, mount す る image fragment を image キ ー ワ ー ド と し て spare す る と に, at the same time そ の appear パ タ ー ン に base づ く image ブ ラ ウ ザ を attempt し た. テ キ ス ト intelligence に つ い て は, ニ ュ - ス image の text captions and pored over に し seaborne ト ピ ッ ク の り out し and び ニ ュ ー ス image ア ー カ イ ブ in で の ト ピ ッ ク tracing line を い, ト ピ ッ ク に basis づ く ニ ュ ー ス image ブ ラ ウ ザ を attempt し た. ま た, image キ ー ワ ー ド and び テ キ ス ト キ ー ワ ー ド の を extraction results by け て, そ れ ら の total up masato に basic づ き, early な image シ ソ ー ラ ス build の be 験 を line っ た. Youdaoplaceholder0 れらを confirms the <s:1> effectiveness を of this study た た.

项目成果

Ichiro IDE: "Topic-based inter-video structuring of a large-scale news video corpus"International Conference on Multimedia and Expo (ICME2003). (2003)

Ichiro IDE：“大型新闻视频语料库的基于主题的视频间结构”国际多媒体会议和博览会（ICME2003）。

瀧本政雄: "フラッシュパターンに基づく映像照合手法"情報技術レターズ,第二回情報科学技術フォーラム(FIT2003). 177-179 (2003)

Masao Takimoto：“基于闪光模式的视频匹配方法”信息技术快报，第二届信息科学技术论坛（FIT2003）177-179（2003）。

Shin'ichi Satoh: "Chapter 27,"Indexing Video Archives : Analyzing, Organizing, and Searching Video Information," in Borko Furht and Oge Marques eds.,"Handbook of Video Databases,""CRC Press, Boca Ratton, Florida. 1211(28) (2003)

Shinichi Satoh：“第 27 章，“索引视频档案：分析、组织和搜索视频信息”，Borko Furht 和 Oge Marques 编辑，“视频数据库手册”，CRC Press，博卡拉顿，佛罗里达州。

Hiroshi Mo: "Subject Region Segmentation in Disparity Maps for Image Retrieval"Systems and Computers in Japan. 35-1. 47-57 (2004)

Hiroshi Mo：“用于图像检索的视差图中的主题区域分割”日本的系统和计算机。

Ichiro Ide: "Topic threading for structuring a large-scale news video archive"Proc.of International Conference on Image and Video Retrieval (CIVR2004). (2004)

Ichiro Ide：“用于构建大型新闻视频档案的主题线程”Proc.of 国际图像和视频检索会议 (CIVR2004)。