Spoken Language Acquisition Agent with Fluent Intonation

语调流利的口语习得代理

• 批准号: 22K12069
• 负责人: 篠崎 隆宏
• 金额: $ 2.66万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12069/
• 关键词: 音声言語獲得; 教師なし学習; 強化学習; 音声言語理解; 対話システム; 音声合成; マルチモーダル; 音声認識

音声対話エージェントが人手によるラベル付きデータに頼らずにマイクロホンやカメラを通して知覚した音声や画像から直接音声言語を学習する、音声言語獲得の仕組みについて取り組んだ。発達心理学的な知見から、エージェントが特定の言語に対する知識を持たない初期状態から出発し、共起する音声と画像の観察と対話の試行錯誤を通して自律的に音声言語を獲得することを実験タスクとしている。従来法は、エージェントの内部・外部状態に対して教師なし学習した音声辞書から単語を選択することにより最適な発話を行う仕組みとなっている。そのため、発話文が一単語発話に限られている制約がある。また音声発話の個人差を扱うことの困難性から、評価実験では合成音声が用いられていた。本年度は、従来の音声辞書に代えて書き起こしの無い音声から教師なし学習した言語モデルを使用する提案手法に取り組んだ。従来法では、音声と画像の共起をもとにした注意機構により強化学習の効率を高めていた。提案法ではそれに代わる仕組みとして、画像から文章を生成するニューラルネットと文章を入出力とするオートエンコーダを組み合わせた構造を持つネットワークをエージェントの方策関数として用いる。これにより画像と音声の関連性を教師なし学習し、エージェントが状態（場面）に応じた発話を強化学習により効率的に学習することが可能となった。また、多数話者により発声された音声をもとにエージェントの発声器官としての音声合成システムを教師なし学習する仕組みについて検討を進め、エージェントが合成音声データに変えて実音声データから音声発声を学習するための基礎的な結果を得た。

Sound, speech, manpower, equipment, manpower, equipment, pictures, direct voice, sound, speech, sound, voice, voice With the knowledge and knowledge of psychology, the knowledge of specific words and expressions, the knowledge of the early stage of the war, the portrait of the sound of the speech, the error of the speech, the self-discipline of the voice, the sound of the speech, the sound and the self-discipline. You have come to France, France and France. If you want to talk about it, you will not be able to do anything about it. If you want to use your voice, your synthetic sound. This year, we are going to use the proposal method to obtain the information of the organization. The portraits of French and audio images are used together to pay attention to the fact that the organization is responsible for strengthening the rate of chemical reactions. The proposed method is based on the production of information on behalf of government officials, portraits and articles. The input and output of the articles are related to the number of policies. The picture, sound, connection, teaching, teaching, learning, teaching, learning, teaching, teaching, learning, teaching, learning, learning, etc. Most people don't know how to use sound. Most people don't know how to use sound. Most people don't know how to synthesize sound. Most people don't know how to synthesize sound.

项目成果

Automatic Spoken Language Acquisition Based on Observation and Dialogue

• DOI: 10.1109/jstsp.2022.3189279
• 发表时间: 2022-10
• 期刊: IEEE Journal of Selected Topics in Signal Processing
• 影响因子: 7.5
• 作者: Ryota Komatsu;Shengzhou Gao;Wenxin Hou;Mingxin Zhang;Tomohiro Tanaka;Keisuke Toyoda;Yusuke Kimura;Kent Hino;Yumiko Iwamoto;Kosuke Mori;T. Okamoto;T. Shinozaki

DNN-Rule Hybrid Dyna-Q for Sample-Efficient Task-Oriented Dialog Policy Learning

用于样本高效、面向任务的对话策略学习的 DNN-规则混合 Dyna-Q

• DOI: 10.23919/apsipaasc55919.2022.9980344
• 发表时间: 2022
• 期刊: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
• 作者: Zhang Mingxin;Shinozaki Takahiro
• 通讯作者: Shinozaki Takahiro