A research for automatic structure extraction and information retrieval from video data using speech and voice

使用语音和语音从视频数据中自动结构提取和信息检索的研究

• 批准号: 17500073
• 负责人: ITOH Yoshiaki
• 金额: $ 2.41万
• 依托单位: Iwate Prefectural University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17500073/
• 关键词: retrieval; video data; structure; segmentation; music retrieval; music information; acoustic feature; 音声検索; 音楽情報処理; 音声特徴量; 音楽特徴量

The first theme of this research is to realize an automatic video segmentation. For this purpose,we developed the methods for extracting a local and global feature of video information and for classifying video data sets. The second theme is automatic extraction of the structure for segmented video data sets using local and global similarity and dissimilarity between the segmented sections. This research first conducted the analysis of local acoustic and image similarity in video data sets,and extracted similar partial sections that are repeated in a music piece. The developed method then discriminated speech sections and music sections respectively using a local feature and a global feature.We confirmed the developed methods worked well for real video data sets. The research also conducted speech retrieval by a text and speech query for speech video sections segmented by the above method. For speech retrieval,new technique of dealing with any words for a query and the integration method for plural subword models were proposed,and the experimental results demonstrated the method showed better performance compared to former methods. These results were reported at the many domestic and international conferences. In the future,we are going to develop the methods for the actual use.

本研究的第一个主题是实现自动视频分割。为此，我们开发了提取视频信息的局部和全局特征以及对视频数据集进行分类的方法。第二个主题是使用分段部分之间的局部和全局相似性和相异性自动提取分段视频数据集的结构。本研究首先对视频数据集中的局部声学和图像相似度进行分析，提取音乐作品中重复的相似部分片段。然后，所开发的方法分别使用局部特征和全局特征来区分语音部分和音乐部分。我们证实所开发的方法对于真实视频数据集效果良好。该研究还针对上述方法分割的语音视频片段，通过文本和语音查询进行语音检索。针对语音检索，提出了处理查询任意词的新技术和复数子词模型的集成方法，实验结果表明该方法比以前的方法表现出更好的性能。这些成果在许多国内外会议上都有报道。未来，我们将开发实际使用的方法。

项目成果

音声検索システムのための時間整合を考慮したサブワードモデル構築手法の検討

考虑时间对齐的语音搜索系统子词模型构建方法研究

• 发表时间: 2006
• 期刊: 情報処理学会 研究技術報告、2006-SLP-062
• 作者: 岩田耕平;伊藤慶明;小嶋和徳;石亀昌明;田中和世;李時旭
• 通讯作者: 李時旭

Shift Continuous DP: A Fast Matching Algorithm between Arbitrary Parts of Two Time-Sequence Data Sets

Shift Continuous DP：两个时序数据集任意部分的快速匹配算法

• 发表时间: 2005
• 期刊: Systems and Computers in Japan No.10
• 作者: H.Fujiwara;K.Sato;K.Fujii;M.Morimoto;Yoshiaki Itoh
• 通讯作者: Yoshiaki Itoh

語彙フリー音声検索におけるサブワードの検討および災害放送検索システムへの応用

无词汇语音搜索子词研究及其在灾害广播搜索系统中的应用

• 发表时间: 2005
• 期刊: 電子情報通信学会研究技術報告 SP2005-21
• 作者: 岩田耕平;伊藤慶明;小嶋和徳;石亀昌明;田中和世;李時旭
• 通讯作者: 李時旭

Knowledge integration in annotation-based collaborative virtual environments

基于注释的协作虚拟环境中的知识集成

• 发表时间: 2005
• 期刊: インタラクション2005
• 作者: S.Aubry;S.Okawa;D.Lenne;I.Thouvenin
• 通讯作者: I.Thouvenin

語彙非依存型音声文書検索のためのサブワードモデルおよび検索方式の検討

与词汇无关的口语文档检索的子词模型和搜索方法研究

• 发表时间: 2007
• 作者: 岩田 耕平;伊藤 慶明;小嶋 和徳;石亀 昌明;田中 和世;Shi-wook Lee
• 通讯作者: Shi-wook Lee