口唇運動を併用した音声認識に関する研究

基于嘴唇运动的语音识别研究

• 批准号: 62608507
• 负责人: 園田 頼信
• 金额: $ 0.64万
• 依托单位: Kumamoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1987
• 资助国家: 日本
• 起止时间: 1987 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-62608507/
• 关键词: 音声生成; 口唇運動; 読唇; 音声認識

総合的な調音運動の観測システムを実現するために, 本年度は主に口唇の調音運動に注目し, 口唇運動の観測装置とその解析システムの構築を行った. 口唇運動の解析処理には, CCDビデオカメラと映像を取り込むための12画面を有するイメージボードから構成されるパソコンより画像処理システムを作成した. VTR録画を用いる場合には, 特定のフィールドを指定する必要がある. 本研究では録画する際にスーパーインポーズ処理を行い, フィールド番号を記録しておく. この方法により再生時に任意のフィールドを検出し, 連続して12コマ分の画像を確実に取り出している. このシステムで収集した口唇運動のデータは, 画像処理を施して開口面積と上・下唇の距離間隔を対応づけて時間経過波形として解析表示することができるようになっている. 次年度は種々の音形を発話した時の口唇運動の特徴を, ここで開発したシステムを用いて処理し, 音形の影響および個人差について検討したい. さらに舌や下顎の運動計測のための観測システムについても検討したい.

This year, we focused on lip movement measurement and analysis of lip movement measurement devices. The analysis of lip movement, CCD video camera image acquisition, 12 screen image acquisition, video camera composition, video camera processing system to create. VTR recording is necessary for specific applications. In this study, we recorded the number of cases in the process of processing. This method is used to extract any desired image from the reproduction time, even if the image is extracted from the 12-point image. The image processing is applied to the opening area, the distance between the upper lip and the lower lip, and the waveform analysis is performed to express the opening area and the distance between the upper lip and the lower lip. In the next year, the characteristics of lip movement when the sound shape is transmitted are discussed. In addition, the tongue and jaw movement measurement and measurement system will be discussed in the middle of the discussion.

项目成果

Yorinobu Sonoda: Jourval of Phonetics. 15. 145-156 (1987)

Yorinobu Sonoda：语音学杂志。

Yorinobu Sonoda: The First Symposium on advancecl man-machine interface through spoken language. 203-204 (1988)

Yorinobu Sonoda：第一届通过口语进行先进人机界面的研讨会。