機械式発話ロボットの開発と構音障碍患者の発声訓練支援システムの構築

机械语音机器人的研制及构音障碍患者发声训练支持系统的构建

基本信息

批准号：
15700164
负责人：
澤田秀之
金额：
$ 2.3万
依托单位：
Kagawa University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2003
资助国家：
日本
起止时间：
2003 至 2004
项目状态：
已结题

项目摘要

人間は言葉を有効に利用して、コミュニケーションをおこなっている。これは音声が特別な道具なしに情報を伝え合うことができる、最も容易な手段であるためと考えられる。人間の発声器官は主に、肺、声帯、声道、舌、口蓋とそれらを動かす筋肉などから成り、互いに適当な位置や形状を形成することにより言葉が生成される。最近のマン・マシンインタフェース技術には、人間らしい音声による情報の提示や、音声による入力デバイスが不可欠な要素となっている。本研究では、発話動作をおこなう器官をエアポンプ、人工声帯、声道共鳴管などを用いて機械的に構成し、計算機による聴覚フィードバック制御によって自らが音声を獲得、生成することができる発話ロボットの開発をおこなった。更に、聴覚障碍や発話障碍を持った患者が、対話的に発声訓練できるシステムの構築を目指した。本年度は、前年度から構築してきた人間の発声器官に対応する各機械部および制御機構の見直しを図った。シリコーンゴムで成形した共鳴管の形状とその制御機構を見直すことにより、共鳴特性が向上した。また二枚振動声帯とその起振機構を開発し、人間と同様の声帯振動を実現した。発話ロボットから生成される音声をマイクロフォンから入力し、音響解析部で解析を行う聴覚フィードバック機構に、自己組織化ニューラルネットワーク(SONN)のオンライン学習を適用した。これにより、人間が目標となる音声を与えることにより、機械系が自ら音声および発話動作を獲得できる適応学習が可能となった。またピッチを適応的に学習、獲得することにより、発声練習から歌声を生成することも可能とした。更に、聴覚障碍、発話障碍患者のための発声訓練システムの構築をおこなった。発話障碍者の不明瞭な発声からその発話動作を再現し、これを明瞭化する発話動作を提示するシステムを構築した。今後、実証実験をおこないシステムの有効性を検証していくと共に、新しい対話型発話訓練装置の実用化を目指していく。

人类有效地使用单词进行交流。这被认为是因为音频是无需任何特殊工具即可传达信息的最简单方法。人声器官主要由肺部，声带，声带，舌头，口感和移动它们的肌肉组成，单词是通过形成适当的位置和形状而产生的。最近的人机接口技术已成为基本要素，例如人类的语音演示和语音输入设备。在这项研究中，我们开发了一种语音机器人，该机器人可以机械构建使用空气泵，人造声带，人声道共振管等进行语音运动的器官，并且能够通过基于计算机的听觉反馈控制来获取和生成语音。此外，目的是创建一个系统，在该系统中，听力障碍或语音障碍的患者可以交互训练他们的声音。今年，我们审查了与上一年以来我们建立的人类声乐器相对应的各种机械零件和控制机制。通过审查用硅橡胶及其控制机制模制的谐振管的形状，可以改善共振特性。我们还开发了两次振动的声带及其振动机制，以实现与人类类似的声带振动。自组织神经网络（SONN）的在线学习应用于使用语音机器人产生的音频来从麦克风输入的听觉反馈机制，并通过声学分析单元进行分析。这允许自适应学习，其中机械系统可以通过提供目标语音和语音来获取语音和语音操作。通过自适应学习和获取音调，也可以使声音从声乐练习中产生歌声。此外，我们为听力障碍和言语障碍的患者建立了人声训练系统。我们已经构建了一个系统，该系统从言语残障人士的晦涩声音中复制了言语动作，并提出了言语动作，清楚地表达了这一点。将来，我们将进行演示实验以验证系统的有效性，并旨在将新的互动语音培训设备置于实际使用中。

项目成果

期刊论文数量（5）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

A Talking Robot which Mimics Human Vocalization

模仿人类发声的说话机器人

DOI：
发表时间：
2005
期刊：
International conference on Research and Education in Mechatronics 2005(To be appeared)
影响因子：
0
作者：
Hideyuki Sawada;Mitsuhiro Nakamura
通讯作者：
Mitsuhiro Nakamura

久田章弘, 澤田秀之: "スペクトル包絡と調波構造の強調処理による食道発声音声の実時間明瞭化"ヒューマンインタフェース学会誌. Vol.5, No.4. 447-454 (2003)

Akihiro Hisada、Hideyuki Sawada：“通过强调频谱包络和谐波结构来实时澄清食道语音”《人机界面学会杂志》第 5 卷，第 447-454 期（2003 年）。