权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

セマンティックスとマルチモーダルに基づくハイライト抽出・要約・索引付け・検索

基于语义和多模态的亮点提取、摘要、索引和搜索

基本信息

批准号：
07F07079
负责人：
馬場口登
金额：
$ 1.47万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2007
资助国家：
日本
起止时间：
2007 至 2009
项目状态：
已结题

项目摘要

本研究では、マルチメディアコンテンツから自動的にセマンティクスを抽出するために、知識処理、セマンティクス処理、および低レベルのマルチメディア処理などを統合するアプローチの実現を図った。具体的には、スポーツ放送映像を取り上げ、統合アプローチにより得られたセマンティクス、およびマルチモーダル情報を用いることで、ハイライト抽出や要約、索引付け、検索を効率的に実行するアルゴリズムを提案し、実験的検証を行った。1.選手や審判、ボールなどのオブジェクトはスポーツ映像において重要な役割を担うので、これらの高精度な認識・追跡手法を考案し、低レベル特徴の一つとしてオブジェクトを抽出した。この結果と他の低レベル特徴との統合により、スポーツ映像の高レベルな概念であるイベントモデルの構築及び、構築したモデルを用いたイベント検出を試みた。ここではサッカー映像のゴールシーンをケーススタディに手法を作成した。2.複数の低レベル特徴ストリームに対し、データマイニング技術の利用により、時間長の可変なイベントの表現となるパターンを推定した。特に、時空間パターンマイニング技術はスポーツ映像のイベントのような時空間特徴に対するパターン推定に適していることを検証し、他のドメイン(サーベイランス映像)への適用性を検討した。3.イベント検出の結果を用い、インデキシング、閲覧システムを構築し、提案したイベント検出手法の特性を評価した。

This study では, マルチメディアコンテンツから automatic にセマンティクスを spare するために, knowledge 処 principle, セマンティクス処, および low レベルのマルチメディア処 Richard などを integration するアプローチの be presently を図った. Specific には, スポーツ hoso image を take りげ, integrative アプローチにより have られたセマンティクス, およびマルチモーダル intelligence を with いることで, ハイライト spare や, index, an offer to pay け, 検をに sharper rates be line するアルゴリズムを proposal し, be 験検 pass line をった. 1. Players や trial, ボールなどのオブジェクトはスポーツ image において cut を bear important な service うので, これらの high-precision な know tracing technique しを test case, low レベル, 徴の a つとしてオブジェクトを spare した. このと he の low レベル, 徴との integration により, スポーツ image の high レベルな concept であるイベントモデルの constructs and び, build したモデルを with いたイベント検 try out をみた. ここではサッカー image のゴールシーンをケーススタディに gimmick を made した. 2. The plural の low レベル, 徴ストリームにし, seaborne データマイニング technology の use により, long time の can - なイベントの performance となるパターンを presumption した. に, when space パターンマイニング technology はスポーツ image のイベントのような when spatial 徴にす seaborne るパターン presumption に optimum していることを検し, he のドメイン (サーベイランス image) への applicability を beg し検た. 3. イベント検をの results using い, インデキシング, read 覧システムを constructing し, proposal したイベント検 piece の features を review 価した.