权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

大規模映像資源のためのマルチモーダルセマンティックインデクシング

大规模视频资源的多模态语义索引

基本信息

批准号：
11J04223
负责人：
井上中順
金额：
$ 1.22万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2011
资助国家：
日本
起止时间：
2011 至 2013
项目状态：
已结题

项目摘要

本年度は、大規模映像資源に対するマルチモーダルなセマンティックインデクシングシステムの構築に向けて、前年度までに作成したシステムの高速化を行う手法を開発した。セマンティックインデクシングとは、映像の中から物体やイベントなど、意味を持った対象を自動的に検出し、映像の意味的分類を行うことである。セマンティックインデクシングは、意味に基づいた高度な映像検索への応用が期待される研究課題であり、画像、音声、言語に基づいたマルチモーダルな手法の開発が必要とされている。さらに、大規模なデータの処理に向けて、高速な特徴抽出アルゴリズムが不可欠である。そこで、本年度は、Neighbor-to-Neighbor (NTN)探索という高速化手法を新たに開発した。NTN探索は、ベクトル量子化や混合ガウス分布に関する確率計算を高速化する手法であり、入力となる特徴量の中から類似したものを探索し、類似度に応じて計算を省略することで高速化を実現する。PASCAL VOCデータセットにおける評価実験では、これまでに作成した混合ガウス分布を用いたセマンティックインデクシングシステムにNTN探索を導入することで、検出精度を高く保った状態で、89.3%の計算量削減を実現した。また、映像解析に関する国際的ワークショップであるTRECVIDのセマンティックインデクシングタスクにおける評価実験では、6種類の画像・音響特徴量とこれまでに開発した手法を統合して用いることで、映像検出精度がタスク参加18機関中第3位となり、精度・計算量の両観点から、我々の手法の有用性が確認された。

This year's large-scale image resource collectionステムのconstructionに向けて, the previous year's までに成したシステムのHIGH-SPEEDING を行うtechniqueを开発した.セマンティックインデクシングとは、imageの中からobjectやイベントなど、 Meaning: をholding った対 resembles をautomatic に検出し, image のmeaning classification を行うことである.セマンティックインデクシングは、meaning にbased づいた高な影検SO への応用がlook forward to される research The subject is the same as the subject, the image, the sound, and the speech.さらに, large-scale processing of なデータのにけて, high-speed なspecial extraction of アルゴリズムがである.そこで, this year は, Neighbor-to-Neighbor (NTN) explores という high-speed technology and を新たに开発した. NTN exploration, quantization, hybrid distribution, accuracy calculation, high-speed calculation, input powerなる特徴quantityの中からsimilarityしたものをExplorationし、similarityに応じてcalculationをomitすることでspeed-upを実appearする. PASCAL VOC video clips Mixed distribution is used to create a blended distributionングシステムにNTN exploration and importing are done, the accuracy is high and the state is maintained, and the calculation amount is reduced by 89.3%.また、image analysisに关する国际ワークショップであるTRECVIDのセマンティックインデクシングタスクにおける Comments価実験では, 6 types of images and audio features とこParticipate in 18 machines with the れまでに开発したtechniqueをintegrationして Use いることで, image 検出 precision がタスクThe 3rd place in Kanaka is Naru, the precision and calculation amount are the same, and the usefulness of my technique is confirmed.