パラ言語情報を含む同時音声通訳技術の研究

包含副语言信息的同声传译技术研究

• 批准号: 17H00747
• 负责人: 中村 哲
• 金额: $ 28.87万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-01 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17H00747/
• 关键词: 音声情報処理; 自動音声翻訳

①-A）常時音声認識：音声、非音声音響モデルに基づく常時音声認識の検討を始めた。B）自動音声同時通訳：シフトリデュースパーザを音声認識に組み込み、逐次的に音声認識デコーダで構文解析しながら次の文構成要素を予測し、訳出、待機を行う方法の高度化について文献調査を行った。C）機械翻訳の高度化：再帰的ニューラルネットワークの一種であるLSTMによる注意形ニューラル機械翻訳（NMT）の高度化に向けて研究を進めた。D）対話制御：LSTMを用いた対話状態推定法の利用、POMDPを利用した音声翻訳の高度化に向けて検討を始めた。②パラ言語：元言語の発話から強調抽出し、アライメントを求めた後、CRFおよびLSTMニューラルネットで対象言語に強調を付与する技術の改良を進めた。③リアルタイムコミュニケーション：視線検出装置Tobi、モバイル心拍計などを用いてプロの同時通訳者の作業時、および同時通訳ユーザの聴取時の聴取負荷の観察を行うため、実験計画の検討を行った。④コーパス構築：2012年から介した基盤研究Aで収集したコーパスの整理を行い、H29年度に実施すべきコーパス収集の計画を検討した。

①-A) Permanent sound recognition: Sound and non-sound sounds モデルにに记づく Constant sound recognition の検question をstart めた. B) Automatic voice simultaneous communication: シフトリデュースパーザを sound recognition に组み込み, successive voice recognition デコーダでThe analysis of the composition of the text is based on the elements of the text, such as predicting, extracting, and waiting for the line. The method is advanced and the literature survey is done. C) Advanced mechanical translation: Zaibo's LSTM We are paying attention to the advancement of research on the advanced form of NMT (NMT). D) Communication control: LSTM uses the communication status estimation method, and POMDP uses the voice to turn the sound into a highly advanced system. ②パラ语: 元语の発语からemphasizing extractionし,アライメントをquestめた后, CRFおThe よびLSTM ニューラルネットで対対语に emphasizes the improvement of the するtechnique and advances めた. ③リアルタイムコミュニケーション: Tobi, the line of sight extension device, and the モバイルcardiograph などを use the いてプロの訳者の时, および simultaneously pass 訳ユーザの聴时 の贴get the load の観看を行うため, 実験计划の検问を行った. ④コーパスConstruction: 2012からsukeしたBasic ResearchAでCollectionしたコーパスのorganizing を行い、H29 annual に実事すべきコーパスCollection plan を検 Discussion した.