Spoken Language Acquisition Agent with Fluent Intonation

语调流利的口语习得代理

• 批准号: 22K12069
• 负责人: 篠崎 隆宏
• 金额: $ 2.66万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12069/
• 关键词: 音声言語獲得; 教師なし学習; 強化学習; 音声言語理解; 対話システム; 音声合成; マルチモーダル; 音声認識

音声対話エージェントが人手によるラベル付きデータに頼らずにマイクロホンやカメラを通して知覚した音声や画像から直接音声言語を学習する、音声言語獲得の仕組みについて取り組んだ。発達心理学的な知見から、エージェントが特定の言語に対する知識を持たない初期状態から出発し、共起する音声と画像の観察と対話の試行錯誤を通して自律的に音声言語を獲得することを実験タスクとしている。従来法は、エージェントの内部・外部状態に対して教師なし学習した音声辞書から単語を選択することにより最適な発話を行う仕組みとなっている。そのため、発話文が一単語発話に限られている制約がある。また音声発話の個人差を扱うことの困難性から、評価実験では合成音声が用いられていた。本年度は、従来の音声辞書に代えて書き起こしの無い音声から教師なし学習した言語モデルを使用する提案手法に取り組んだ。従来法では、音声と画像の共起をもとにした注意機構により強化学習の効率を高めていた。提案法ではそれに代わる仕組みとして、画像から文章を生成するニューラルネットと文章を入出力とするオートエンコーダを組み合わせた構造を持つネットワークをエージェントの方策関数として用いる。これにより画像と音声の関連性を教師なし学習し、エージェントが状態（場面）に応じた発話を強化学習により効率的に学習することが可能となった。また、多数話者により発声された音声をもとにエージェントの発声器官としての音声合成システムを教師なし学習する仕組みについて検討を進め、エージェントが合成音声データに変えて実音声データから音声発声を学習するための基礎的な結果を得た。

Voice and speech acquisition and training are the key to the success of voice and speech acquisition. The initial state of knowledge of speech and speech in development psychology is to be observed and observed, and the trial error of speech and speech in self-discipline is to be observed and observed. The internal and external conditions of the system are related to the teacher's learning, voice dictionary selection, and communication. A single language is a single language. The individual difference of the sound transmission is difficult to evaluate and synthesize. This year, the proposed method for the use of voice dictionaries has been selected. The method of reinforcement learning is to increase the rate of reinforcement learning. The proposal method includes the following steps: 1. creating an article; 2. creating an article; 3. creating an article; 4. creating an article; and 4. creating an article. The relationship between images and sounds is studied by teachers, and the relationship between sounds and sounds is studied by teachers. For most speakers, the sound generator and the sound synthesizer are the basic results of the teacher's study.

项目成果

Automatic Spoken Language Acquisition Based on Observation and Dialogue

• DOI: 10.1109/jstsp.2022.3189279
• 发表时间: 2022-10
• 期刊: IEEE Journal of Selected Topics in Signal Processing
• 影响因子: 7.5
• 作者: Ryota Komatsu;Shengzhou Gao;Wenxin Hou;Mingxin Zhang;Tomohiro Tanaka;Keisuke Toyoda;Yusuke Kimura;Kent Hino;Yumiko Iwamoto;Kosuke Mori;T. Okamoto;T. Shinozaki

DNN-Rule Hybrid Dyna-Q for Sample-Efficient Task-Oriented Dialog Policy Learning

用于样本高效、面向任务的对话策略学习的 DNN-规则混合 Dyna-Q

• DOI: 10.23919/apsipaasc55919.2022.9980344
• 发表时间: 2022
• 期刊: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
• 作者: Zhang Mingxin;Shinozaki Takahiro
• 通讯作者: Shinozaki Takahiro