Spoken Language Acquisition Agent with Fluent Intonation

语调流利的口语习得代理

基本信息

  • 批准号:
    22K12069
  • 负责人:
  • 金额:
    $ 2.66万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

音声対話エージェントが人手によるラベル付きデータに頼らずにマイクロホンやカメラを通して知覚した音声や画像から直接音声言語を学習する、音声言語獲得の仕組みについて取り組んだ。発達心理学的な知見から、エージェントが特定の言語に対する知識を持たない初期状態から出発し、共起する音声と画像の観察と対話の試行錯誤を通して自律的に音声言語を獲得することを実験タスクとしている。従来法は、エージェントの内部・外部状態に対して教師なし学習した音声辞書から単語を選択することにより最適な発話を行う仕組みとなっている。そのため、発話文が一単語発話に限られている制約がある。また音声発話の個人差を扱うことの困難性から、評価実験では合成音声が用いられていた。本年度は、従来の音声辞書に代えて書き起こしの無い音声から教師なし学習した言語モデルを使用する提案手法に取り組んだ。従来法では、音声と画像の共起をもとにした注意機構により強化学習の効率を高めていた。提案法ではそれに代わる仕組みとして、画像から文章を生成するニューラルネットと文章を入出力とするオートエンコーダを組み合わせた構造を持つネットワークをエージェントの方策関数として用いる。これにより画像と音声の関連性を教師なし学習し、エージェントが状態(場面)に応じた発話を強化学習により効率的に学習することが可能となった。また、多数話者により発声された音声をもとにエージェントの発声器官としての音声合成システムを教師なし学習する仕組みについて検討を進め、エージェントが合成音声データに変えて実音声データから音声発声を学習するための基礎的な結果を得た。
Voice and speech acquisition and training are the key to the success of voice and speech acquisition. The initial state of knowledge of speech and speech in development psychology is to be observed and observed, and the trial error of speech and speech in self-discipline is to be observed and observed. The internal and external conditions of the system are related to the teacher's learning, voice dictionary selection, and communication. A single language is a single language. The individual difference of the sound transmission is difficult to evaluate and synthesize. This year, the proposed method for the use of voice dictionaries has been selected. The method of reinforcement learning is to increase the rate of reinforcement learning. The proposal method includes the following steps: 1. creating an article; 2. creating an article; 3. creating an article; 4. creating an article; and 4. creating an article. The relationship between images and sounds is studied by teachers, and the relationship between sounds and sounds is studied by teachers. For most speakers, the sound generator and the sound synthesizer are the basic results of the teacher's study.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Automatic Spoken Language Acquisition Based on Observation and Dialogue
  • DOI:
    10.1109/jstsp.2022.3189279
  • 发表时间:
    2022-10
  • 期刊:
  • 影响因子:
    7.5
  • 作者:
    Ryota Komatsu;Shengzhou Gao;Wenxin Hou;Mingxin Zhang;Tomohiro Tanaka;Keisuke Toyoda;Yusuke Kimura;Kent Hino;Yumiko Iwamoto;Kosuke Mori;T. Okamoto;T. Shinozaki
  • 通讯作者:
    Ryota Komatsu;Shengzhou Gao;Wenxin Hou;Mingxin Zhang;Tomohiro Tanaka;Keisuke Toyoda;Yusuke Kimura;Kent Hino;Yumiko Iwamoto;Kosuke Mori;T. Okamoto;T. Shinozaki
DNN-Rule Hybrid Dyna-Q for Sample-Efficient Task-Oriented Dialog Policy Learning
用于样本高效、面向任务的对话策略学习的 DNN-规则混合 Dyna-Q
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

篠崎 隆宏其他文献

Study on QOL Change in Rural Community by Renewable Energy Electrification in Sarawak, Malaysia
马来西亚砂拉越州可再生能源电气化农村社区生活质量变化研究
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    篠崎 隆宏;加藤 拓;Makoto Sawai(分担執筆);井上直樹;図師 宣忠;中川 裕;鞍田 崇;H.Ohgaki
  • 通讯作者:
    H.Ohgaki
Audio-Visual Synchronizer ~口-音声同期システムの提案と実写映像・アニメ応用の可能性~
视听同步器〜口音同步系统的提案以及将其应用于真人视频和动画的可能性〜
  • DOI:
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    0
  • 作者:
    篠崎 隆宏;渡部 晋治;古川翔一,加藤卓哉,サフキンパーベル,森島繁生
  • 通讯作者:
    古川翔一,加藤卓哉,サフキンパーベル,森島繁生
半教師ありDNN学習を用いた日本語スピーキングテスト音声の認識
使用半监督DNN学习识别日语口语测试语音
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    加藤 拓;篠崎 隆宏
  • 通讯作者:
    篠崎 隆宏
考古学を支える理系の技
支持考古学的科学技术
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    加藤 拓;篠崎 隆宏;山田 雅彦;Yoko Nagahara;西山伸一・H. Hama Abdullah・山田重郎・沼本宏俊・常木晃;木部暢子;安藤紘平・岡室美奈子・是枝裕和・谷昌親・土田環・長谷正人・元村直樹編;Florian Lionnet;望月圭子;私市正年(分担執筆);Shigemi INAGA;井上直樹;Kiyoko Myojo;原正一郎;井上聡;中川 裕;狭川真一
  • 通讯作者:
    狭川真一
User identification using Time-of-Flight camera image streams
使用飞行时间相机图像流进行用户识别
  • DOI:
  • 发表时间:
    2010
  • 期刊:
  • 影响因子:
    0
  • 作者:
    篠崎 隆宏;古井 貞煕;古井 貞熙
  • 通讯作者:
    古井 貞熙

篠崎 隆宏的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

経済分析のための教師なし学習手法の開発
经济分析无监督学习方法的发展
  • 批准号:
    23K25501
  • 财政年份:
    2024
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
環境センサと移動ロボットを連携した見守りシステムの教師なし学習による認識精度向上
通过连接环境传感器和移动机器人的监控系统的无监督学习来提高识别精度
  • 批准号:
    23K11990
  • 财政年份:
    2023
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
リズム構造の複雑度が異なる2つの楽曲群を用いた和声分析の教師なし学習
使用具有不同节奏结构复杂性的两个音乐组进行和声分析的无监督学习
  • 批准号:
    23K20011
  • 财政年份:
    2023
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Research Activity Start-up
説明可能なAIと教師なし学習AIによる脊椎疾患の新しい知見を見出す試み
尝试使用可解释的人工智能和无监督学习人工智能来发现有关脊柱疾病的新知识
  • 批准号:
    22K16734
  • 财政年份:
    2022
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
価値観の共有における教師あり学習と教師なし学習の役割
监督和无监督学习在共享价值观中的作用
  • 批准号:
    21K19810
  • 财政年份:
    2021
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
培養神経系が形成する認知モデルの解析に基づく教師なし学習と統合失調症の融合的理解
基于对培养神经系统形成的认知模型的分析,对无监督学习和精神分裂症的综合理解
  • 批准号:
    14J08435
  • 财政年份:
    2014
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
教師なし学習と一階述語論理を用いた、自然言語の構文・意味解析システムの構築
使用无监督学习和一阶谓词逻辑构建自然语言语法/语义分析系统
  • 批准号:
    10J09202
  • 财政年份:
    2010
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
異種センサー情報の統合による概念の教師なし学習
通过集成异构传感器信息进行无监督概念学习
  • 批准号:
    08780347
  • 财政年份:
    1996
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了