Development of Image Retrieval System by Considering People Co-occurrence Relations through Relevance Feedback

通过相关性反馈考虑人物同现关系的图像检索系统开发

• 批准号: 23700117
• 负责人: NITTA Naoko
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2012
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23700117/
• 关键词: 人物画像検索; 適合性フィードバック; 共起関係; クラス分類; 能動学習; 構造化; 人物の共起関係

Group photos often contain socially related people such as family and friends. We developed a system for retrieving images containing a specific target person from a group photo collection by considering people co-occurrence relations. A Bag of People (BoP) feature, which represents both the facial appearances of persons and their co-occurrence relations, is extracted from each image. By using the BoP features, a classifier for classifying images into two classes, images containing the target person and other images, can be trained. The images determined to contain the target person by the classifier are presented to the user as the retrieval results. The classifier is re-trained by a small number of correctly retrieved images which are selected by the user. When retrieving images of 32 persons from 1791 group photos, the mean average precision improved from 20% to 70% after five feedback iterations.

集体照片通常包含与社会相关的人，如家人和朋友。我们开发了一个从合影集中检索包含特定目标人物的图像的系统，该系统考虑了人的共现关系。从每幅图像中提取代表人的面部外观及其共现关系的人袋(BOP)特征。通过使用BOP特征，可以训练用于将图像分类为两类的分类器，即包含目标人的图像和其他图像。将由分类器确定为包含目标人的图像作为检索结果呈现给用户。通过由用户选择的少量正确检索的图像来重新训练分类器。当从1791张合影中检索32个人的图像时，经过5次反馈迭代后，平均准确率从20%提高到70%。

项目成果

Classification based group photo retrieval with bag of people features

• DOI: 10.1145/2324796.2324804
• 发表时间: 2012-06
• 期刊: Proceedings of the 2nd ACM International Conference on Multimedia Retrieval
• 作者: K. Shimizu;Naoko Nitta;Yujiro Nakai;N. Babaguchi

人物共起特徴量を用いたクラス分類に基づく集合写真の検索

使用人类共现特征进行基于类分类的集体照片搜索

• 发表时间: 2012
• 期刊: 画像の認識理解シンポジウム (MIRU2012)予稿集
• 作者: 志水和也;中井優次朗;新田直子;馬場口登
• 通讯作者: 馬場口登

Learning People Co-occurrence Relations by Using Relevance Feedback for Retrieving Group Photos

通过使用相关性反馈来检索集体照片来学习人物共现关系

• DOI: 10.1145/1991996.1992053
• 发表时间: 2011
• 期刊: Proc. of ACM International Conference on Multimedia Retrieval (ICMR2011)
• 作者: K. Shimizu;N. Nitta;and N. Babaguchi
• 通讯作者: and N. Babaguchi

集合写真データベースの構造化に基づく画像検索

基于合影数据库构建的图像搜索

• 发表时间: 2014
• 作者: 中井優次朗;新田直子;馬場口登
• 通讯作者: 馬場口登

コミュニティに基づく画像コレクションの構造化

构建基于社区的图像集合

• 发表时间: 2012
• 期刊: 電子情報通信学会2012年総合大会講演論文集
• 作者: 中井優次郎;新田直子;馬場口登
• 通讯作者: 馬場口登