言語と画像の情報統合によるスポーツ映像の意味内容解析及び構造化に関する研究

整合语言与图像信息的体育视频语义内容分析与结构化研究

• 批准号: 02J04794
• 负责人: 新田 直子
• 金额: $ 1.6万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2003
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-02J04794/
• 关键词: 映像意味内容解析; ストーリー分割; インデキシング; インターモーダル協調; スポーツ映像; 映像意味内容記述; クローズドキャプション

近年,テレビやビデオ映像などのマルチメディア情報の普及に伴い,映像データに対する効率的な検索システムなどへの要求が高まっている.これらのシステムの構築には,映像データの意味内容記述が不可欠である.本研究では,この意味内容記述にかかる労力を軽減するべく,映像データの自動的な意味内容解析法の開発を目的としている.本研究では,映像データの中でも特に放送型スポーツ映像を対象に,映像を構成する意味的な基本要素(ストーリーユニット)を定義し,ストーリーユニットへの自動分割及び各ストーリーユニットに対する意味内容記述の自動生成を目指している.提案手法ではクローズドキャプション(CC)と呼ばれる音声をテキスト形式にしたもの、及び画像ストリームを利用する.まずCCを構成する可変長のセグメントを単語及び文の出現特徴などのベイジアン学習によりスポーツ番組を構成する4種類のシーンに分類した結果から,CC内のストーリーユニットの境界を検出する.一方,画像ストリーム上の特徴を利用し,例画像との比較及び画像内に出現する試合状況に関する情報を含むオーバーレイの検出により,映像上のストーリーユニットの境界も同様に検出する.さらにオーバーレイ内の文字認識により各ストーリーユニットの試合状況に関する情報を抽出する.最後に各ストリームより抽出したストーリーユニット内の特徴(CC:イベントを表すキーワード,画像:例画像との類似度,試合状況に関する情報)を利用し,スポーツの試合の流れに関する知識を基に両ストリームの解析結果の対応付けを行う.本手法を実際のスポーツ映像に適用することで,スポーツ映像をストーリーユニットに分割し,同時に試合状況及びイベントに関するインデキシングが可能になり,各ストリームより抽出した結果に対し,除去・補完を行うことにより,より正確な試合の流れに沿った構造化が可能であることを示した.

In recent years, the popularity of video games has been accompanied by high demand for video games. The structure of the system is not correct, and the content description of the image is not correct. This study aims to develop automatic semantic content analysis method for image processing. In this study, the definition of the basic elements of the image structure and the automatic segmentation of the image structure and the automatic generation of the content description of the image structure are discussed. The proposal is based on the sound of the voice and the image. The CC can be composed of four types of text and characters, and the CC can be composed of four types of text and characters. On the one hand, the characteristics on the image list are utilized, such as the comparison of images and the appearance of trial conditions in the image. The text recognition in the middle of the page is extracted from the information related to the trial status of each site. Finally, the characteristics (CC: image table, image: similarity of image, information related to trial status) in each sample are extracted and utilized, and the knowledge related to trial flow is based on the analysis results. This method is applicable to all kinds of images in practice, and it is possible to divide the images, and to extract the results of all kinds of images according to the test conditions and test conditions.

项目成果

Noboru Babaguchi, Naoko Nitta: "Intermodal Collaboration : A Strategy for Semantic Content Analysis for Broadcasted Sports Video"Proceeding of IEEE International Conference on Image Processing (ICIP2003). (電子版). (2003)

Noboru Babaguchi、Naoko Nitta：“多式联运：广播体育视频的语义内容分析策略”IEEE 国际图像处理会议记录（ICIP2003）（电子版）。

新田 直子: "スポーツ映像の構造を考慮した意味内容記述モデルと自動ストーリー分割"電子情報通信学会技術研究報告,パターン認識・メディア理解(PRMU)2002-20. Vol.102,No.155. 1-8 (2002)

Naoko Nitta：“考虑体育视频结构的语义内容描述模型和自动故事分割”IEICE 技术报告，模式识别和媒体理解 (PRMU) 2002-20，第 155 期。1 -8 (2002)。