映像の知的構造化による大規模ニュース映像コーパスからの検索・情報発見に関する研究

基于智能视频结构化的大规模新闻视频语料搜索与信息发现研究

• 批准号: 13224093
• 负责人: 佐藤 真一
• 金额: --
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas (C)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13224093/
• 关键词: ニュース映像; 映像データベース; 映像検索; 映像マイニング; 構造化; 顔画像; 人名

本研究では、ニュース映像中を構成する、動画像・主音声(日本語)・副音声(英語)・字幕放送を連日取得・蓄積して研究に供する。本年度中に、これらのデータをのべ約150時間分、導入したハードディスクアレイに蓄積した。これらのデータに対し、(1)蓄積するためのデータベースの構築、(2)アクセスするためのプログラムライブラリの開発、(3)映像の閲覧のためのインタフェースの開発、(4)映像への索引付けに関する研究、(5)映像の構造化及び分類に関する研究、(6)映像データマイニングに関する研究を行った。(1)、(2)では、商用データベースシステムOracle上に映像データを蓄積し、それにアクセスするための機構を実現した。(3)では(1)、(2)の機構を利用して、蓄積したデータを容易に閲覧できるようにした。また、字幕放送及び電子番組表と連動させることにより、簡単な検索機能も実現した。これらの実現により、今後研究を遂行するうえで必要となる、映像の管理のために最低限必要な準備ができた。(4)では、ニュース映像中に出現する人物の名前と顔の画像の対応付けを完全に自動化したシステムを実現した。(5)では、画像特徴量に基づき、ニュース映像を階層的に構造化し、内容に応じて構造化された映像を自動的に分類した。(6)では、ニュース映像中に共起する人物名を抽出することにより、ニュースで話題となっている人物の人間関係に関する知識の抽出及び可視化を行った。また、これらを実現するために必要な基礎的技術として、顔画像の照合に関する研究、移動する人物を追跡する研究、画像中からの繰り返し動作の検出に関する研究も併せて行った。

This study で は, ニ ュ ー ス image を constitute す る sound, animation, like, the tonic (Japan), deputy voice (English), subtitles and pored over を days get · accumulation し に て research for す る. This annual に, こ れ ら の デ ー タ を の べ about 150 time points, import し た ハ ー ド デ ィ ス ク ア レ イ に accumulation し た. こ れ ら の デ ー タ に し seaborne, (1) accumulation す る た め の デ ー タ ベ ー ス の building, (2) ア ク セ ス す る た め の プ ロ グ ラ ム ラ イ ブ ラ リ の 発, (3) image の read 覧 の た め の イ ン タ フ ェ ー ス の 発, (4) image へ の index pay け に masato す る research, (5) image の structure and classification of び に masato す る research, (6) The image is related to する research を field った. (1) and (2) で は, commercial デ ー タ ベ ー ス シ ス テ ム on Oracle に image デ ー タ を accumulation し, そ れ に ア ク セ ス す る た め の institutions を be presently し た. (3) で は (1), (2) の agencies を using し て, accumulation し た デ ー タ を に easily read 覧 で き る よ う に し た. Youdaoplaceholder0, subtitle broadcasting and び electronic anime schedule と linkage させる と とによ とによ, simple 単な検 cable can <s:1> live た. こ れ ら の be presently に よ り, future research を carries out す る う え で necessary と な る, image の management の た め に minimalist が な necessary で き た. (4) で は, ニ ュ ー ス image す に in る character portraits の former と yan の の 応 seaborne pay け を に completely automated し た シ ス テ ム を be presently し た. (5) で は amount, portrait 徴 に base づ き, ニ ュ ー ス image を class に structured し, content に 応 じ て structured さ れ た image を automatic classification of に し た. (6) で は, ニ ュ ー ス image に total up す る character name を spare す る こ と に よ り, ニ ュ ー ス で topic と な っ て い る characters の world masato is に masato す る knowledge の line extraction and び visualization を っ た. ま た, こ れ ら を be presently す る た め に な necessary basic technology と し て, yan portrait の according に masato す る research, mobile す る characters を tracing す る research, the portrait か ら の Qiao り return し action の 検 out に masato す る も and せ て line っ た.

项目成果

Reiko Hamada, Shin'ichi Satoh, Shuichi Sakai, Hidehiko Tanaka: "Detection of important segments in cooking videos"Proc. IEEE Workshop on Content-based Access of Image and Video Libraries. 118-123 (2001)

Reiko Hamada、Shinichi Satoh、Shuichi Sakai、Hidehiko Tanaka：“检测烹饪视频中的重要片段”Proc。

浜田玲子, 佐藤真一, 坂井修一, 田中英彦: "料理映像における繰り返し動作検出とその応用"第63回情報処理学会全国大会講演論文集. 2. 63-64 (2001)

Reiko Hamada、Shinichi Sato、Shuichi Sakai、Hidehiko Tanaka：“烹饪视频中重复运动的检测及其应用”第 63 届日本信息处理学会全国会议论文集（2001 年）。

孟 洋, 佐藤真一: "映像特徴の出現パターンの共起性とその利用に関する予備的検討"2001年電子情報通信学会情報・システムソサイエティ大会講演論文集. 216 (2001)

孟浩、佐藤真一：“视频特征外观模式共现及其利用的初步研究”2001 年 IEICE 信息与系统学会会议记录 216 (2001)。

三浦宏一, 浜田玲子, 井手一郎, 坂井修一, 田中英彦: "動き検出による料理映像の解析"第64回情報処理学会全国大会講演論文集. 2(未定). (2002)

Koichi Miura、Reiko Hamada、Ichiro Ide、Shuichi Sakai、Hidehiko Tanaka：“使用运动检测的烹饪视频分析”第 64 届日本信息处理学会全国会议记录（待定）。

Ichiro Ide, Reiko Hamada, Shuichi Sakai, Hidehiko Tanaka: "An attribute based news video indexing"Proc. ACM Multimedia 2001 Workshops -Multimedia Information Retrieval-. 70-73 (2001)

Ichiro Ide、Reiko Hamada、Shuichi Sakai、Hidehiko Tanaka：“基于属性的新闻视频索引”Proc。