CCDカメラマイクロフォンの実現に関する研究

CCD摄像麦克风的实现研究

• 批准号: 08875074
• 负责人: 長谷川 孝明
• 金额: $ 1.34万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 1997
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08875074/
• 关键词: CCDカメラマイクロフォン; 画像入力マイクロフォン; IIM; 音声合成; 輪郭抽出; 声道断面積関数; 意志伝達システム; 秘話; 音声断面積関数; 意志伝達

通常のマイクロフォンが空気の振動としての音声を入力とし、音声の電気信号を出力とするのに対し、本研究はCCDカメラによる口唇及び舌の動画像情報を入力信号とし、ニュートラルネットやその他の信号処理により音声信号を出力とするものである。これまでに声道の伝達関数を口唇付近の動画像から推定し、適当な励振源で励振し、出力音声信号を合成する方式を提案している。本CCDカメラマイクロフォンは口唇付近の画像による音声認識・合成とは異なり、声道の伝達関数から出力音声信号を合成するため、認識合成系と異なり言語に依存しないという特徴を持つ。すでに基礎的実験を開始し、母音の合成にはほぼ成功していた。しかしながら、コミュニケーションシステムとして見た場合、子音に対応させることが急務であった。そこで平成8年度は、子音に対応させるための手法を検討した。まず、従来のシステムの子音に対応できない主な理由のうち以下の三点を改善することで有声子音の一部に対応が可能となった。(1)画像フレーム間における口唇特徴量の値の時間的変化を考慮した声道の伝達関数の推定精度の向上(2)子音を特徴づけるための口唇特徴量の追加による推定精度の向上(3)調音結合を考慮した学習データセットの構成による性能向上。しかしながら、(1)全子音への対応は不十分で、また声道断面積関数の小さな部分の存在する場合は合成音が不安定になることがある。(2)中国語への適用には子音を中心に再検討の必要がある。(3)意思伝達システムとしての性能評価が必要。の三点が問題点として残り、平成9年度はこれらを中心に検討を進めた。(1)については声道断面積関数を介さず,画像の特徴量から直接声道の伝達関数に写像することで非線形変換を処理から減らし、かなりの改善が見られることがわかった。小規模な定量化の実験は終わっているが、大規模な実験は(3)を含め現在進行中である。(2)についても中国語独特の四声についての対応のシステムを構築中である。以上、性能評価の定量化にはもう少し時間がかかるが、コミュニケーションシステムとしての可能性は示唆された。

Usually の マ イ ク ロ フ ォ ン が empty 気 の vibration と し て の sounds を と into force し, voice の electric を 気 signal output と す る の に し polices, this study は CCD カ メ ラ に よ る oral tongue and び の animation into force signals like intelligence を と し, ニ ュ ー ト ラ ル ネ ッ ト や そ の he の signal 処 Richard に よ を り voice signal output と す る も の で あ る. こ れ ま で に track の 伝 number of masato を oral paying nearly の animation like か ら presumption し, appropriate な LiZhenYuan で LiZhen し を, sounds of output signal synthesis す る way を proposal し て い る. The CCD カ メ ラ マ イ ク ロ フ ォ ン は oral paying nearly の portrait に よ る sounds know, synthetic と は different な り, track の 伝 number of masato か ら を output voice signal synthesis す る た め, understanding GeChengXi と different な り words に dependent し な い と い う, 徴 を つ. The basic experience of すでに starts with を, vowel <s:1> synthesis is に, ほぼ ほぼ success is achieved, て て た た た. し か し な が ら, コ ミ ュ ニ ケ ー シ ョ ン シ ス テ ム と し て た occasions, consonants に 応 seaborne さ せ る こ と が because で あ っ た. Youdaoplaceholder0 で で in the 8th year of Heisei, そ and consonant に fought against 応させるため 応させるため techniques を検 to attack た. ま ず, 従 の シ ス テ ム の consonants に 応 seaborne で き な い main な reason の う ち の under three を improve す る こ と で audio consonants の a に 応 seaborne が may と な っ た. Between (1) portrait フ レ ー ム に お け る oral, 徴 quantity の numerical の time variations of を consider し た track の 伝 presumption of masato several の precision の up (2) consonants を 徴 づ け る た め の oral, 徴 の amount of additional に よ る の presumption precision tuning up (3) in を considering し た learning デ ー タ セ ッ ト の constitute に よ る up performance. し か し な が ら, (1) all consonants へ の 応 seaborne は not very で, ま た channel area of small number of masato の さ な part の is す る occasions は synthesis が unrest に な る こ と が あ る. (2) In Chinese, へ へ is applicable to に, に consonants, を center に, and then 検 discuss the necessary がある. (3) It is necessary for the performance evaluation of 伝 to reach システムと て て. There are three points of が. The problem points are と て て. The remaining と and the <s:1> れらを れらを center に検 for the heisei 9th year are requested to を enter めた. (1) に つ い て は track broken area masato を interface さ ず, portrait の, 徴 quantity か ら direct channel の 伝 number of masato に write like す る こ と で nonlinear variations in を 処 Richard か ら minus ら し, か な り の improve が see ら れ る こ と が わ か っ た. Small-scale な quantitative <s:1> experimental わって final わって るが るが, large-scale な experimental (3)を including め currently in progress である. (2)に, に, て, て, である in the construction of the unique <s:1> four tones of the Chinese language に, て, て, and 応, システムを. Above, the performance evaluation of 価 の quantitative に は も し less time う が か か る が, コ ミ ュ ニ ケ ー シ ョ ン シ ス テ ム と し て は の possibility in stopping さ れ た.

项目成果

Hiroaki Tanaka: "The Image Input Microhpne Applicable to Consonants" Proc.of Int.Symp.on Information Theory and its Applications. Vol.1. 278-281 (1996)

Hiroaki Tanaka：“适用于辅音的图像输入微型”Proc.of Int.Symp.on 信息论及其应用。

Hiroaki Tanaka: "The Image Input Microhpne Applicable to Consonants" Proc. of Int. Symp. on Information Theory and its Applications. Vol.1. 278-281 (1996)

Hiroaki Tanaka：“适用于辅音的图像输入Microhpne”Proc。