口腔内超音波画像を用いた無声発話生成と認識に関する研究

基于口腔内超声图像的清音生成与识别研究

• 批准号: 20J15015
• 负责人: 木村 直紀
• 金额: $ 1.22万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J15015/
• 关键词: サイレントスピーチインタフェース; サイレントスピーチ

本研究では，空気振動を伴わずに話し言葉によるコミュニケーションを可能にする無声発話技術に関する研究を行なった．無声発話とは，声帯を振動させずに声道の調音運動のみを行う発話方法のことである．この時の調音運動に伴う脳波や神経信号，筋電位，筋肉の動きを測定することで，意図した発話内容の生成・認識を行うものである．無声発話では空気振動を伴わないため，発話・聴音に困難（気管切開，声帯の切除，高齢）を抱える人々に新しいコミュニケーション手段を提供できる可能性がある．さらに会議や電車内など,静かさが必要な場所での話し言葉を用いた交流やコンピュータの活用を実現する．またコンサート会場や飛行機内など，周囲の騒音が大きくて音声の理解やコンピュータによる音声認識が困難な場所での代わりの手段として機能する．前年度に引き続き，サイレントスペリングというインタラクションにエレクトロパラトグラフィー（Electropalatography，口蓋設置型下トラッキング静電容量アレイ）を組み合わせて研究を行なった．このセンサは口蓋に124個の電極を設置し，100Hzで舌の動きを捉える．このセンサと隠れマルコフモデルを使用した認識器を組み合わせることで，1164wordsの語彙において94%以上の精度での認識を実現した．本研究の成果は2022年4月に開催されたACM主催のConference on Human Factors in Computing Systems(CHI2022)においてフルペーパーとして発表された．

In this study, it is possible to use air-conditioned vibration equipment with sound waves, sound sound devices, audio devices, audio devices, audio The content of the speech is generated, and the content of the conversation is generated. Silent speech, empty vibration, sound disturbance, voice disturbance (tube cut, sound cut off. (high school) to meet the needs of people who are interested in the use of new means to provide information on the possibility of dismission. the meeting will discuss the in-house communication in the necessary market, and use the communication protocol to communicate with each other in order to make use of it. In the past year, there has been an introduction to the situation in the previous year, which has been introduced in the past year. In the previous year, it has been introduced into the market in the past year. In the previous year, it has been introduced in the past year. The device configuration model is used to monitor the static capacity of the device) the research group is engaged in the research, and the 100Hz device is available for each of the 124 cathode settings. The client uses the switch to install the device. More than 94% of the accuracy of 1164words has been obtained. In April 2022, the results of this study urged Conference on Human Factors in Computing Systems (CHI2022) to improve the performance of the Conference on Human Factors in Computing Systems (CHI2022) system.

项目成果

Mobile, Hands-free, Silent Speech Texting Using SilentSpeller

使用 SilentSpeller 进行移动、免提、无声语音短信

• 发表时间: 2021
• 作者: Naoki Kimura;Tan Gemicioglu;Jonathan Womack;Richard Li;Yuhui Zhao;Abdelkareem Bedri;Alex Olwal;Jun Rekimoto;Thad Starner
• 通讯作者: Thad Starner

ジョージア工科大学(米国)

佐治亚理工学院（美国）

SilentSpeller: Towards mobile, hands-free, silent speech text entry using electropalatography

• DOI: 10.1145/3491102.3502015
• 发表时间: 2022-04
• 期刊: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems
• 作者: N. Kimura;Tan Gemicioglu;Jon Womack;Richard Li;Yuhui Zhao;Abdelkareem Bedri;Zixiong Su;A. Olwal;J. Rekimoto;Thad Starner