大規模映像中の物体検索技術に関する研究とその放送映像アーカイブへの応用

大规模视频对象检索技术研究及其在广播视频档案中的应用

• 批准号: 17J08378
• 负责人: 日並 遼太
• 金额: $ 1.22万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-26 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J08378/
• 关键词: 画像検索

(1) 自然言語によるスケーラブルな物体検索まず、自然言語をクエリとして、大規模画像データベースから高速に物体を検出する手法を提案した。自然言語による物体検出では、一般のクラスが限定された物体検出と異なり、検出器を学習するための負例を集めるのが困難であるという問題がある。これを解決するために、言語情報を効果的に使うことで良い負例を選択する手法を提案した。この技術と従来提案した索引技術とを組み合わせることで、高速かつ高精度に、従来不可能であった自然言語による物体の検索および物体位置推定を実現した。(2) 物体間の位置関係に基づく画像検索システム上で提案した物体検索の手法を拡張し、複数物体と物体間の関係性を用いた検索システムを開発した。まず、物体位置の制約に基づく、複数物体間の位置関係を指定できる検索手法を提案した。また、対話的なインターフェースと位置関係の自動推薦システムにより、物体間の複雑な位置関係を直感的に指定できる検索システムを実現した。提案されたシステムは従来の画像検索では困難であった複雑による意図による検索が可能であることを実験により示した。(3) トレンド・未知物体検出技術最後に大規模な画像・映像データベースからのトレンドとなる物体をマイニングする手法を提案した。従来の自動でトレンド検出手法の大半はテキスト情報を使ったものであったのに対し、提案手法では画像などの視覚情報のデータベースからトレンドを発見可能である。物体の時系列上における出現頻度の急上昇に着目し、そのバースト度を最大化するような物体を発見する手法を提案し、高い精度でトレンドが発見できることを示した。また、実際にテレビ放送やソーシャルメディアのデータを対象とした実験により、ある期間で急激に話題になったトレンドが発見できることを示した。

(1) Natural language によるスケーラブルなObject検SOまず、Natural language をクエリとして, large-scale portraits, high-speed objects, techniques, and proposals. Natural languageによるObject検出では、GeneralのクラスがlimitedされたObject検出とdifferentなり, 検出器を学するためのnegative exampleを集めるのがdifficultyであるというquestionがある.これをsolved するために、verbal intelligence をeffect of に使うことで好いnegative exampleを选択するtechniqueをproposalした.このTechnology is proposed, したindex technology, とをgroup, み合わ, せる, ことで, high speed, high precision に, It is impossible to use natural language to express objects, and to estimate the position of objects. (2) The positional relationship between objects is based on the technique of drawing the image and the proposal of the object.を拡张し, plural objects and the relationship between objects を Use いた検SO システムを开発した.まず, object position restriction にbase づく, positional relationship between plural objects を designation できる検検资源技术を proposal した.また、なインターフェースとlocation relationshipのautomatic recommendationシステムにより, The positional relationship between objects can be determined intuitively and intuitively. Proposal されたシステムは従来の图検SO では Difficulty であった曑による意図による検SOがpossibleであることを実験により Showした. (3)トレンド・Unknown object 検出技术lastにlarge-scaleなimage・imageデータベースからのトレンドとなるObject をマイニングする Technique をProposal した.従来のautomatic でトレンド検出码の大半はテキストinformation を使ったものであったのに対し, the proposal method is the image of the picture, the information is the visual information, and the proposal is possible. In the object time series, the appearance frequency of における has increased sharply, and the そのバーストdegree has been maximized. Objects and techniques are proposed, and high-precision solutions are presented.また、実记にテレビ出账秒到より、ある During the period, the hot topic was the hot topic.

项目成果

Region-Based Image Retrieval Revisited

• DOI: 10.1145/3123266.3123312
• 发表时间: 2017-09
• 期刊: Proceedings of the 25th ACM international conference on Multimedia
• 作者: Ryota Hinami;Yusuke Matsui;S. Satoh

Discriminative Learning of Open-Vocabulary Object Retrieval and Localization by Negative Phrase Augmentation

• DOI: 10.18653/v1/d18-1281
• 发表时间: 2017-11
• 作者: Ryota Hinami;S. Satoh

Large-Scale R-CNN with Classifier Adaptive Quantization

• DOI: 10.1007/978-3-319-46487-9_25
• 发表时间: 2016-10
• 作者: Ryota Hinami;S. Satoh

Tracked Instance Search

• DOI: 10.1109/icassp.2018.8461378
• 发表时间: 2018-03
• 期刊: 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: Andreu Girbau;Ryota Hinami;S. Satoh