マルチメディア技術を応用した聴覚障害者のための対面対話支援形態に関する研究

1.健聴者と聴覚障害者が自然なコミュニケーションを行うための要素技術として音声認識に注目し、この技術を用いた授業を8回実施した。実際の授業環境には様々なノイズが存在し、そのままでは非常に誤認識が多く、自然なコミュニケーションや授業の進行が困難である。しかし、音声認識部へ送る音声情報のS/N比を可能な限り高める工夫により、音声認識技術の能力を最大限に発揮できるような構成を提案することができた。また、極力市販の装置類を使用することで、誰でもシステムを再現できるように配慮した。そして、よりインタラクティブなコミュニケーションを実施するために必要な健聴者(発話者)と発話された音声情報を文字情報に変換するためのシステムとのワイヤレス化を図った。2.本学(筑波技術短期大学)では、リアルタイム字幕提示システムの開発と運用を、1990年から続けており、本学の授業時の情報保障や学外支援として運用し、現在までのところ230回程度の運用実績がある。このリアルタイム字幕提示システムとは、話者の発話内容のすべてを文字に変換し、即座に聴衆に提示するためのシステムである。これまでに様々な改善を行い、話者のいる講義室等から遠く離れた場所からでも、高度なキーボード入力技能を有する字幕作成担当者が支援を行うことができる遠隔地リアルタイム字幕提示システムと現在なっている。このシステムに音声認識技術を付加することで、速記タイピストのような特殊技能を有さないものでも、発話された言語音のすべてを文字に変換することが可能となる。今回、授業者が手話と音声と併用して授業を実施した。そして、音声認識技術を利用して文字も付加的に提示した。文字列は誤認識文字を多少含んでいたが、これらのような環境にも関わらず文字情報の重要性を示す結果が得られた。本システムは、ブロードバンド環境を活用し、音声や文字などのマルチメディア情報の伝送に活用した。

1.健聴者と聴覚障害者が自然なコミュニケーションを行うための要素技術として音声認識に注目し、この技術を用いた授業を8回実施した。実際の授業環境には様々なノイズが存在し、そのままでは非常に誤認識が多く、自然なコミュニケーションや授業の進行が困難である。しかし、音声認識部へ送る音声情報のS/N比を可能な限り高める工夫により、音声認識技術の能力を最大限に発揮できるような構成を提案することができた。また、極力市販の装置類を使用することで、誰でもシステムを再現できるように配慮した。そして、よりインタラクティブなコミュニケーションを実施するために必要な健聴者(発話者)と発話された音声情報を文字情報に変換するためのシステムとのワイヤレス化を図った。2.本学(筑波技術短期大学)では、リアルタイム字幕提示システムの開発と運用を、1990年から続けており、本学の授業時の情報保障や学外支援として運用し、現在までのところ230回程度の運用実績がある。このリアルタイム字幕提示システムとは、話者の発話内容のすべてを文字に変換し、即座に聴衆に提示するためのシステムである。これまでに様々な改善を行い、話者のいる講義室等から遠く離れた場所からでも、高度なキーボード入力技能を有する字幕作成担当者が支援を行うことができる遠隔地リアルタイム字幕提示システムと現在なっている。このシステムに音声認識技術を付加することで、速記タイピストのような特殊技能を有さないものでも、発話された言語音のすべてを文字に変換することが可能となる。今回、授業者が手話と音声と併用して授業を実施した。そして、音声認識技術を利用して文字も付加的に提示した。文字列は誤認識文字を多少含んでいたが、これらのような環境にも関わらず文字情報の重要性を示す結果が得られた。本システムは、ブロードバンド環境を活用し、音声や文字などのマルチメディア情報の伝送に活用した。