Spoken Language Acquisition Agent with Fluent Intonation

语调流利的口语习得代理

• 批准号: 22K12069
• 负责人: 篠崎 隆宏
• 金额: $ 2.66万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12069/
• 关键词: 音声言語獲得; 教師なし学習; 強化学習; 音声言語理解; 対話システム; 音声合成; マルチモーダル; 音声認識

音声対話エージェントが人手によるラベル付きデータに頼らずにマイクロホンやカメラを通して知覚した音声や画像から直接音声言語を学習する、音声言語獲得の仕組みについて取り組んだ。発達心理学的な知見から、エージェントが特定の言語に対する知識を持たない初期状態から出発し、共起する音声と画像の観察と対話の試行錯誤を通して自律的に音声言語を獲得することを実験タスクとしている。従来法は、エージェントの内部・外部状態に対して教師なし学習した音声辞書から単語を選択することにより最適な発話を行う仕組みとなっている。そのため、発話文が一単語発話に限られている制約がある。また音声発話の個人差を扱うことの困難性から、評価実験では合成音声が用いられていた。本年度は、従来の音声辞書に代えて書き起こしの無い音声から教師なし学習した言語モデルを使用する提案手法に取り組んだ。従来法では、音声と画像の共起をもとにした注意機構により強化学習の効率を高めていた。提案法ではそれに代わる仕組みとして、画像から文章を生成するニューラルネットと文章を入出力とするオートエンコーダを組み合わせた構造を持つネットワークをエージェントの方策関数として用いる。これにより画像と音声の関連性を教師なし学習し、エージェントが状態（場面）に応じた発話を強化学習により効率的に学習することが可能となった。また、多数話者により発声された音声をもとにエージェントの発声器官としての音声合成システムを教師なし学習する仕組みについて検討を進め、エージェントが合成音声データに変えて実音声データから音声発声を学習するための基礎的な結果を得た。

Sound of the story Know the voice and image of the voice directly, learn the voice and language directly, and learn the voice and language to get the official group.発达Psychology's な知见から、 エージェントがSpecific の语に対するKnowledge をhold たない Initial state から出発し、 Common rise する音声と图の観看と対语のTRIAL AND ERROR を通して Self-disciplined に音声语をGet することを実験タスクとしている.従来法は、エージェントの internal and external state に対して teacher なし学したvoice Dictionaryから単语を选択することによりMost suitableな発语を行う士组みとなっている.そのため、発语文が一単语発言にlimit られているRESTRICTION がある.また音発言のPERSONAL DIFFERENCES をうことのDIFFICULTY から、 evaluation価実験では synthesized voice が用いられていた. This year's は、従来の音声lexiconに代えて书き出こしの无い音声から Teacher なし学した语モデルを Use するproposal technique にtakeり集团んだ.従来法では、音声とimageの同riseをもとにしたAttention mechanismによりEnhanced learningのefficiencyを高めていた. Proposal method ではそれに generation わるclerical group みとして, portrait からarticle をgeneration するニューラルネットとarticle を入出力とすThe るオートエンコーダを group み合せたstructural をhold つネットワークをエージェントの square policy pass number として Use いる.これによりImage and soundのrelatednessをTeacherなしStudyし、エージェントがstatus (field Surface) に応じた発词をReinforcement learning により にlearning することがpossible となった.また、Most speakers により発声された音声をもとにエージェントの発声organ としてのVoice synthesis システムを Teacher なしStudy するofficial group みについて検椉を进め、エージェントが synthesized voice データに変えて実The sound of the sound is the result of learning the basics of sound.

项目成果

Automatic Spoken Language Acquisition Based on Observation and Dialogue

• DOI: 10.1109/jstsp.2022.3189279
• 发表时间: 2022-10
• 期刊: IEEE Journal of Selected Topics in Signal Processing
• 影响因子: 7.5
• 作者: Ryota Komatsu;Shengzhou Gao;Wenxin Hou;Mingxin Zhang;Tomohiro Tanaka;Keisuke Toyoda;Yusuke Kimura;Kent Hino;Yumiko Iwamoto;Kosuke Mori;T. Okamoto;T. Shinozaki

DNN-Rule Hybrid Dyna-Q for Sample-Efficient Task-Oriented Dialog Policy Learning

用于样本高效、面向任务的对话策略学习的 DNN-规则混合 Dyna-Q

• DOI: 10.23919/apsipaasc55919.2022.9980344
• 发表时间: 2022
• 期刊: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
• 作者: Zhang Mingxin;Shinozaki Takahiro
• 通讯作者: Shinozaki Takahiro