A Study of Dynamic Audiovisual Integration based on High Speed Vision

基于高速视觉的动态视听集成研究

• 批准号: 16360205
• 负责人: ISHII Idaku
• 金额: $ 8.19万
• 依托单位: HIROSHIMA UNIVERSITY
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16360205/
• 关键词: High Speed Vision; Visual Auditorization; Vibration Dynamics; Sound Synthesis; Audiovisual Integration; Pixelwise Source Detection; Doppler Shift; Source Measurement

In this research, we constructed a theory for dynamic audiovisual integration which can integrate both vision sensor information and auditory sensor information at signal level in human audible frequency domain (20〜20kHz) by matching sampling and signal processing rates of vision sensor and auditory sensor. We also showed the effectiveness of dynamic audiovisual integration based on the vibrated dynamics which is contained in both visual information and auditory information commonly.Concretely, we studied the following issues ; A)VA (Visual Auditorizaition) signal processing, in which visual information is converted into sound information at real-time, B)Pixel-wise Sound Source Detection by extracting the common dynamics between visual information and auditory information, C)Sound source distance / velocity measurement based on the difference between sound speed and light speed. These issues were implemented on the high speed vision system whose frame rate is in kHz order, and we verified the fundamental function of dynamic audiovisual integration.

在本研究中，我们建立了一个动态视听融合理论，它可以通过匹配视觉传感器和听觉传感器的采样率和信号处理率，在人类可听频域（20 ~ 20 kHz）的信号水平上融合视觉传感器和听觉传感器的信息。同时，我们还研究了基于视觉信息和听觉信息中普遍存在的振动动力学的动态视听整合的有效性。A）VA（视觉听觉）信号处理，其中视觉信息被实时转换成声音信息，B）通过提取视觉信息和听觉信息之间的共同动态的逐像素声源检测，C）基于声速和光速之间的差异的声源距离/速度测量。这些问题在帧速率为kHz量级的高速视觉系统上得到了实现，验证了动态视听融合的基本功能。

项目成果

高速ビジョンに基づく3次元トラッキングシステム

基于高速视觉的3D跟踪系统

• 发表时间: 2004
• 期刊: 3次元画像コンファレンス 2004講演論文集
• 作者: 田中靜一;灘谷演;石井抱
• 通讯作者: 石井抱

知的画素選択機能を有する高速・高空間解像度ビジョンシステム

具有智能像素选择功能的高速、高空间分辨率视觉系统

• 发表时间: 2004
• 期刊: 計測自動制御学会 システムインテグレーション部門講演会/論文集 3A2-2
• 作者: 石井 抱;杉山 克彦;加藤 一樹;黒住 省吾;沼田 暁彦;田嶋 健司
• 通讯作者: 田嶋 健司

MmVision(Mega-pixel and milli-second vison)カメラヘッドの開発

开发MmVision（百万像素、毫秒视觉）摄像头

• 发表时间: 2004
• 期刊: 画像センシング技術研究会 第10回画像センシングシンポジウム講演論文集 B-31
• 作者: 石井抱;加藤一樹;黒住省吾;灘谷演;越智清仁;沼田暁彦;田嶋健司
• 通讯作者: 田嶋健司

超高速・メガピクセルビジョンカメラヘッドの開発

超高速百万像素视觉摄像头开发

• 发表时间: 2004
• 期刊: 日本機会学会ロボティクス・メカトロニクス講演会'04/講演論文集 2P1-L1-50
• 作者: 石井 抱;加藤 一樹;黒住 省吾;越智 清仁;灘谷 演;沼田 暁彦;田嶋 健司
• 通讯作者: 田嶋 健司

64×64 画素高次自己相関ビジョンチップの開発と評価

64×64像素高阶自相关视觉芯片的开发与评估

• 发表时间: 2004
• 期刊: 日本機会学会ロボティクス・メカトロニクス講演会'04/講演論文集 2P1-L1-46
• 作者: 山本 健吉;窪園 宗寛;石井 抱
• 通讯作者: 石井 抱