動きを利用したセンサ間対応の自動抽出の研究

利用运动自动提取传感器之间对应关系的研究

• 批准号: 09750532
• 负责人: 向井 利春
• 金额: $ 1.28万
• 依托单位: The Institute of Physical and Chemical Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 1998
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09750532/
• 关键词: センサフュージョン; 空間フィルタ; 視聴覚融合

人間は,複数の人が歩いているシーンから,聞こえてくる足音が視覚中のどの足から発せられたものであるかを見つけ出すことができる。これは,人間が視覚と聴覚の対応付けを行なっているからだと考えられる。本研究では,複数の物体が視野内に存在し,その一つが音を発している場合に,先見的な知識無しで音を発している物体を見つけ出す方法を確立した。具体的には,まず,音データと動画像データを同期して取り込む。次に,画像1フレームに対応する音データの小区間から振幅最大のものを選ぶことによって,画像フレームに対応する音データの系列を作る。この系列から,複数のピーク部分を抽出する。次に,音のピークに対応する画像フレームとその前後のフレームを選びだし,そのフレーム間差分をとることによって,音に対応する物体のエッジの(通常は複数の)候補を見つける。最後に,音のピークデータの系列と,画像からエッジ抽出した部分の画素数の相関係数を計算することによって,音と関連して生じているエッジ部分を見つけ,このエッジが囲む部分を音に対応する物体が画像中に存在する領域とする。実際の実験では,メトロノームと拍手している手が写っている動画像から,拍手の音を手がかりにして,画像中の手の位置を見つけ出すことに成功した。

In the human world, a plurality of people walk in the middle of the road, hear the sound of the foot, see the foot. The world is full of people. In this study, a method for detecting objects without sound is established when multiple objects exist in the field of vision. Specific, sound, animation, image, synchronization, etc. Second, the picture 1 is the picture 1, the picture 2 is the picture 1, the picture 3 is the picture 1, the picture 4 is the picture 1, the picture 4 is the picture 1, the picture 5 is the picture 1, the picture 6 is the picture 7, the picture 7 is the picture 8, the picture 8 is the picture 9, the picture 9, the picture 9 is the picture 9, This series of photos, plural photos, part of the photo. Second, the sound of the sound of the image of the image before and after the selection of the list, the difference between the two groups of the sound of the object of the (usually plural) candidate. Finally, the correlation coefficient of the number of pixels in the image is calculated, and the correlation coefficient of the number of pixels in the image is calculated. In reality, the hand is placed in the middle of the hand, and the animation image is placed in the middle of the hand. The sound of the hand is placed in the middle of the hand, and the position of the hand in the portrait is placed in the middle of the hand.

项目成果

早川 和宏: "物理法則に基づく視聴覚情報の対応付け" 電子情報通信学会技術研究報告. 98・573. 13-18 (1999)

Kazuhiro Hayakawa：“根据物理定律关联视听信息”IEICE 技术报告 98・573（1999）。