CCDカメラマイクロフォンの実現に関する研究

CCD摄像麦克风的实现研究

• 批准号: 05855047
• 负责人: 長谷川 孝明
• 金额: $ 0.51万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1993
• 资助国家: 日本
• 起止时间: 1993 至 1994
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05855047/
• 关键词: 画像音声変換; 画像入力マイクロフォン; CCDカメラマイクロフォン; 音声合成; ヒューマンコミュニケーション; ヒューマンマシンインターフェース; 発声補助; マンマシン通信

通常のマイクロフォンが音声入力,音声信号出力であるのに対し,本研究ではCCDカメラによる口唇および舌の画像情報入力,音声信号出力のマイクロフォンシステムの構築に目的があった.本システムは,大きな環境雑音下の音声も画像入力という本質的に異なった媒体により大雑音の分離が可能となるほか,実際の発声をしなくても音声信号が送れるという本質的な秘話機能や声帯に障害を持つ人の発声代替機能も持つ.昨年度までに本報告者が考案した2種のアナログ型構成法,すなわち,(1)直接法(口唇および舌の画像情報をニューラルネットを介し直接音声スペクトルに写像する方法)と(2)伝達関数法(口及び舌の画像情報から声道の伝達関数を求め適当な音源と伝達関数から音声の合成を行う方法)の中でも,後者を中心に基礎システムの構築と実験を行った.これまでに得た結果をまとめる.まず,動画像から音声への変換を日本語5母音を基にシステムを構成した.昨年の疑似動画像から本年度は真の動画像を処理するシステムとした.具体的には伝達関数と対応する声道断面積関数を通し,画像情報からの音声信号化システムを構成した.日本語5母音を基に構成したシステムであるが,英語の3母音も合成可能であることが分かった.次に,発声不能者の発声代替システムとしての可能性を検討するため,聴取者の慣れによる聴取力向上の実験を行った.次ページの文献欄の文献にも示されるようにテストを繰り返す度に認識率(聴取率)は向上し,5日間で69%から90%にまでなった.正解は聴取者に提示されていないので,純粋な慣れによる聴取力の向上と考えられ,発声代替システムの可能性が示された.最後に,子音への適用のための拡張をはかり,子音の内有声破裂音についての検討を行った.音声の品質には向上の余地があった.以上より,子音処理の改善の後にCCDカメラマイクロフォンの実現の可能性が十分あることが分かった.

In general, the input force of sound and sound signal is opposite to each other. In this study, the input force of mouth and tongue image information is opposite to the input force of sound and sound signal, and the construction purpose of sound and sound signal is opposite. This article discusses the audio and video input under the background sound, the nature of the media, the separation of the background sound, the possibility of transmitting the background sound, the nature of the audio and video signal, the secret function of the audio and video barrier, and the sound replacement function. Last year, this report examined two kinds of methods of forming a model, namely,(1) direct method (2) The method of correlation number (1) The method of correlation number (2) The method of correlation number (3) The method of correlation number (3) The method of correlation number (4) The method of correlation number (3) The method of correlation number (4) The method of correlation number (4 This is the result. The Japanese 5 vowels are composed of four vowels. Last year's suspected animation image is different from this year's real animation image processing. Specifically, the transmission level and the cross-sectional area of the sound channel are communicated, and the audio signal system from the image information is composed. Japanese vowels are composed of 5 vowels, and English vowels are composed of 3 vowels. Second, the voice of the voice can not be replaced by the possibility of discussion, the voice of the voice The recognition rate (acquisition rate) of the documents in the second column was 69% and 90% in the fifth day. The correct solution to the problem is to select the appropriate prompt for the correct solution, and to select the appropriate force for the correct solution is to select the correct solution. Finally, the consonant sound is applied to the sound, and the consonant sound is broken. Sound quality is not the only way to improve. After the improvement of the phoneme processing, the possibility of the realization of CCD is very high.

项目成果

OHTANI Keiichi: "Speech Synthesis from Oral Motion Images" Proc.of International Symposium on Nonlinear Theory and Its Applications. 4. 1355-1358 (1993)

OHTANI Keiichi：“来自口述运动图像的语音合成”非线性理论及其应用国际研讨会论文集。

大渓啓一: "口唇特徴量の重回帰分析による声道断面積関数の推定" 1993年電子情報通信学会秋季大会講演論文集. 1. 168- (1993)

Keiichi Daikei：“通过唇部特征的多元回归分析估计声道横截面积函数”1993 年 IEICE 秋季会议论文集 1. 168- (1993)。