Development of wearable device for speech restoration due to laryngeal cancer.

开发用于喉癌言语恢复的可穿戴设备。

• 批准号: 22KJ0795
• 负责人: 竹内 雅樹
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0795/
• 关键词: 電気式人工喉頭; ニューラルネットワーク; 機械学習; 振動子; 振動音

まずハンズフリー型のELを開発する上での一番の問題になっている振動音の漏れの原因がどこにあるかを探った。すると現在使用している振動子、ならびに現在の振動音の作製方法に問題があることが分かった。そこで複数の振動子ならびにファンクションジェネレータを購入して、電圧ならびに周波数を変化させて実際に購入した振動子に正弦波を加振して、首に当てて、実際にどのように聞こえるかを音声と映像を記録して比較実験を行った。その結果、100Hzから1000Hz全てにおいて満遍なく明瞭な声となりかつ振動音漏れの少ない振動子は無かった。そのため、研究実施計画を変更し、振動音の作成方法をLPC残差波を用いた方法でなく、ニューラルネットワークモデルを用いて機械学習を行い作成する、という方針に変更した。この理由は先述した比較実験において、音量、重さ、必要となる電力のすべての条件で従来の電気式人工喉頭に使用されている振動子の性能を超えられる振動子が見つからなかったためである。振動音を良くすることで振動子については一般化できる、すなわちどの振動子を用いてもより明瞭な声で届けられることを目的としている。現時点で振動音を作成するためのニューラルネットワークモデルは様々な改良をしており、次年度中にこのモデルを用いて作成した新たな振動音を用いて、開発したデバイスの客観的評価を行う予定でいる。ユーザーテストまでこぎつけて、主観的評価までできれば論文や国際会議での発表も可能になると考えている。また、自動で振動音のON/OFF制御を可能にするということについては、自動ではないが、曲げセンサを用いて首を曲げるだけでハンズフリーで振動音のON/OFFを制御できる機構を今年度中に作成することができた。そして今年度は2本国内誌で(そのうち1本は英訳され英語論文誌で)論文が掲載された。

首先，我们探索了振动声音泄漏的原因，这是开发免提EL的最大问题。然后发现当前使用的传感器和产生振动声音的当前方法存在问题。因此，购买了多个换能器和函数发生器，并且通过不同的电压和频率，将正弦波施加在实际购买，放置在脖子上的换能器上，并记录音频和视频以查看其实际声音，以在比较实验中进行。结果，声音在所有100 Hz至1000 Hz上都均匀清晰，并且没有振动的声音泄漏。因此，更改了研究实施计划，创建振动声音的方法更改为使用神经网络模型使用机器学习而不是使用LPC残留波的策略。这是因为在上述比较实验中，在所有体积，重量和所需功率的条件下，都没有发现超过常规电气人工喉部使用的传感器的性能。目的是改善振动声音，以便可以将传感器推广，这意味着无论使用哪种传感器，都可以发出更清晰的声音。当前，已经对神经网络模型进行了各种改进，以创建振动声音，我们计划使用在下一个财政年度使用此模型创建的新振动声音客观地评估开发的设备。如果我们甚至可以进行用户测试，甚至提供主观评估，我们相信可以提出论文和国际会议。此外，关于可以自动打开/关闭振动声音的事实，尽管不是自动的，但我们能够在这个会计年度内创建一种机制，使您可以通过使用弯曲传感器弯曲脖子来控制振动的声音，从而使振动声开/关。今年，两篇论文在国内期刊上发表（其中一篇是英语，并在英语期刊上发表）。

项目成果

竹内雅樹さんらの研究がCNNで取り上げられました。

美国有线电视新闻网 (CNN) 专题报道了竹内正树 (Masaki Takeuchi) 的研究。

Development of a hands‐free electrolarynx for obtaining a human‐like voice using the LPC residual wave

• DOI: 10.1002/eej.23409
• 发表时间: 2022-09
• 期刊: Electrical Engineering in Japan
• 影响因子: 0.4
• 作者: Masaki Takeuchi;Y. Soejima;Jaesol Ahn;Kunhak Lee;Ken Takaki;T. Ifukube;Ken-ichiro Yabu;Shinnosuke Takamichi;Masaki Sekino

機械はどこまで人の声に近づけるのか？【Syrinx（サイリンクス）開発者、竹内雅樹氏】

机器的声音能有多接近人类的声音？

失われた声を取り戻す次世代のハンズフリー型EL「Syrinx（サイリンクス）」

Syrinx，可恢复失声的下一代免提 EL

Restoring Lost Voices

恢复失去的声音