Research on figure models of speech articulators and a speaking robot development based on speech articulators' motions measurements

发音器官体形模型研究及基于发音器官运动测量的说话机器人开发

• 批准号: 20K11876
• 负责人: 平山 亮
• 金额: $ 2.75万
• 依托单位: Osaka Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11876/
• 关键词: 音声生成; 調音器官模型; 調音運動計測; 発話ロボット; 音声発話ロボット

本研究は、発話調音運動計測とその解析にもとづき、調音器官の模型製作、さらに音声発話ロボットの開発へと挑戦していくものである。研究開始からほぼ２年間はコロナ禍による在宅勤務などの制限により本研究の主要な部分である被験者を使った調音運動計測、研究室設置機器を使った模型製作は進まなかったが、3年目となる令和４年度は制限も緩和し、模型製作をはじめとする研究を再開することができた。当初計画にあったヒトを被験者として外部機関で実行する予定であったMRIによる発話調音運動計測実験については外部機関の入館制限、発話実験であるため被験者がマスクを外す必要があり十分なエアロゾル対策ができないことから、計画から削除した。令和4年度の主たる成果は、3Dプリンタを用いて、調音器官の模型製作を進めたことである。上顎、下顎、舌骨といった骨の模型を製作した。３Ｄモデリングソフトウェアを使って、過去の計測データや解剖図鑑などを参考に形状を設計し、実物大の顎模型、舌骨模型の製作を行った。また従来研究で行っていた舌、唇の粘弾性模型を再設計して製作し、それらを組み合わせて調音器官動作を検討した。模型製作を中心とするこれらの研究成果は、画像電子学会、IWAIT2023国際会議で成果発表を行った。もう一つの主要な成果はコロナ禍で延期されていた国立民族学博物館の特別展「しゃべるヒト－ことばの不思議を科学する」が9月1日～11月23日に実施され、音声生成チームの一員として展示構成作成に協力し、調音器官模型などの研究成果を展示したことである。音声生成機構の研究を説明するポスター展示も行った。また言語の身体的産出についての説明の原稿作成も行った。

This study は, 発 tuning motion measuring と そ の parsing に も と づ き, tuning organ の model, さ ら に sounds 発 words ロ ボ ッ ト の open 発 へ と pick 戦 し て い く も の で あ る. Study began か ら ほ ぼ 2 years は コ ロ ナ disaster に よ る in house service な ど limitations の に よ り の this research main part な で あ る by 験 を make っ た tuning motion measuring, laboratory setting machine を っ た model making は into ま な か っ た が, 3 years と な る makes the limitations and 4 year は も ease し, model making を は じ め と す を る research to open す る こ と Youdaoplaceholder0 た た. Original plan に あ っ た ヒ ト を by 験 と し て external machine masato で line be す る designated で あ っ た MRI に よ る 発 words tuning motion measuring be 験 に つ い て は external machine masato の the limitations in the library, 発 be 験 で あ る た め by 験 が マ ス ク を outside す necessary が あ り very な エ ア ロ ゾ ル policy が seaborne で き な い こ と か ら, plan か ら pruned し た. In the fourth year of the Reiwa era, the <s:1> main たる achievement <e:1>, 3Dプリ プリ タを タを using <s:1> て, and the production of the model of the tuning organ <s:1> were introduced into めた めた とである とである. Upper jaw, lower jaw, hyoid bone と と った bone <s:1> model を production of <s:1> た. 3 d モ デ リ ン グ ソ フ ト ウ ェ ア を make っ て, past の measuring デ ー タ や anatomical 図 guide な ど を reference し を に shape design, be big の jaw line model, the hyoid model の production を っ た. ま た 従 line to study で っ て い た tongue, lip stick の 弾 model を redesign し て し making, そ れ ら を group み close わ せ て tuning organ motion を beg し 検 た. The research results of the model Making を center とする れら れら <s:1>, the portrait electronics society, and the で results of the IWAIT2023 international conference are presented at を and った. も う a つ の な main achievements は コ ロ ナ disaster で extension さ れ て い た national museum of ethnology の special exhibition "し ゃ べ る ヒ ト - こ と ば の incredible を science す る" が September 1 ~ November 23 に be applied さ れ, sounds generated チ ー ム one の と し て show constitute consummate に together し, tuning organ model な ど の results show を し た こ と で あ Youdaoplaceholder0. The sound generation mechanism <s:1> research を explanation するポスタ った demonstration line った. Youdaoplaceholder0 speech <e:1> body output に また て て て description った the original manuscript is made into a <s:1> line った.

项目成果

3Dプリンタによる博物館展示用模型の製作

使用3D打印机制作博物馆展示模型

• 发表时间: 2023
• 作者: Haruka MATSUHASHI;Izumi TSUNOKUNI;Yusuke IKEDA;平山亮
• 通讯作者: 平山亮

3Dプリンタによる音声生成器官模型の試作

使用 3D 打印机制作发声器官模型的原型

• 发表时间: 2021
• 作者: 藤本崇人;橋本佳;南角吉彦;徳田恵一;平山亮
• 通讯作者: 平山亮

3D modeling and 3D printing of human jaws for speech production research and education

用于语音生成研究和教育的人颌 3D 建模和 3D 打印

• DOI: 10.1117/12.2670529
• 发表时间: 2023
• 期刊: Proceedings of SPIE
• 作者: Makoto J. Hirayama

A finger motion traking system for Japanese sign language demonstrations

用于日本手语演示的手指运动跟踪系统

• 发表时间: 2021
• 作者: Makoto J. Hirayama;Akira Asada;and Ritsuko Kikusawa
• 通讯作者: and Ritsuko Kikusawa