音情報を利用した数値シミュレーションデータ共有のためのVRシステムの研究

利用声音信息共享数值模拟数据的VR系统研究

• 批准号: 13780317
• 负责人: 田村 祐一
• 金额: $ 0.45万
• 依托单位: National Institute for Fusion Science
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780317/
• 关键词: Virtual Reality; Simulation; Speech Recognition; Verbal Interface; Auditory Display; 3d-Sound; Sonification; IPT; Sonifisation; Anditory Display; 3D-Sound

今年度は音声認識によるインターフェイスの開発に取り組んだ。没入型ディスプレイシステムを利用する場合、使用者は立位での使用が主となるため、入力デバイスも立位で操作可能な数個のボタンとジョイスティックからなるデバイスが一般的に使用される。しかし、表示するコンテンツにより操作方法が異なり、キーボードにおける文字入力のような直接的操作を行うことが困難であるという問題がある。特に数値シミュレーションデータの可視化を行う場合、ウォークスルーなどのコンテンツと違い、表現されるシミュレーションモデルによって、表現方法が異なるため、なおさらコマンドが多岐にわたる傾向がある。このような場合、音声認識によるインターフェイスは直感的に操作できるという意味で、最も効果的である。バーチャルリアリティシステムと音声認識システムの接続には、音声認識プログラムコードを変更する必要があるため、基本的にコードがオープンである必要がある。これらの用件を満たす音声認識エンジンとして、JULIUSを使用した。この音声認識エンジンとバーチャルリアリティシステムはソケット通信により、相互にデータの送受信を行うことで、音声によるバーチャルリアリティ空間への指示機能を実現している。JULIUSはもともと連続音声認識を行うために作られているため、今回使用する「ある程度短い」文章の認識において、認識精度が低下する。最も頻発するのが助詞抜けによる認識率低下である。この問題に対し、発話された文章を文法的に解釈し、助詞が抜けていてもその部分を無視して認識する機構を組み込んだ.このことにより、助詞抜けによる認識エラーがなくなり,結果的に97%程度の認識率で操作可能なシステムを構築した。平成13年度から続いた本研究では,「音による表現」と「音の認識」という双方から音情報を利用する研究を進めてきた。この研究により、これまであまり重要視されてこなかった音によるVR研究に光を当てることになればと考える。

This year's sound recognition is based on the development of sound recognition. In the case of using the immersion mode, the user can use it in the main position, and the user can use it in the general position. The operation method is different, the text input force is direct, the operation is difficult, and the problem is difficult. The visualization of the special number of values, the number of values, the number of errors, the number of errors, the errors, the number of errors, the number of errors, the errors, the number of errors, the number of errors, the errors, the number of errors, the The situation, the sound recognition, the operation of the direct sense, the most effective effect For example, if you want to change the name of a group, you can change the name of a group. JULIUS is used in the field of sound recognition. The audio recognition function is implemented by sending and receiving messages to and from each other. JULIUS has a low level of understanding. The recognition rate of the most frequent auxiliary words is low. This question is related to the grammar of the article, the auxiliary word, the part of the article, the organization of the article, the organization of the organization of the article, the organization of the organization of the article, the organization of the organization of the article, the organization of the The result is a 97% recognition rate and an operational possibility. This study is aimed at "sound performance" and "sound knowledge" and "sound information utilization". This research is very important. It is very important. VR research is very important.