マルチメディアの相互補完的協調利用による感覚障害者間の伝達支援に関する研究

点击翻译按钮获取中文摘要

本研究は,感覚障害者間の双方向コミュニケーションを実現するためのコミュニケーションエイドとなる通信端末インタフェースを開発すると共に,映像・音声・テキストが有意的に結合されたマルチメディア言語の基本設計思想の確立とその有効性を明らかにすることを目的とする.本研究では,日本版PICと呼ばれる絵図画に音声情報と動作情報を含めたものをマルチメディア言語として新たに定義し,この言語を利用したコミュニケーション支援システムの構築を検討した.提案するマルチメディア言語では,日本版PICを基にPICカードをスキャナーで取り込み画像ファイルとし,これに音声出力用WAVファイル(読み上げファイル),テキスト情報を付加した.この情報ファイルをマルチメディアカードと呼び,視覚障害者と聴覚障害者の両方に共通に利用可能なコミュニケーション言語の基本用語として定義化し,データベースを作成した(現在,登録語1071種).さらに,静止画では表現しにくい動詞を表す用語については動画を採用することを提案し,効果的な速度,コマ数,動作表現法などの評価実験を行い,最適な設定値の選定を行った.このようにして作成したマルチメディアカードには,名詞や動詞,副詞,形容詞など会話に必要な基本用語が登録されており,感覚障害者間の双方向のコミュニケーションを行うのに必要な日常会話に用いられる用語や動作,感情表現,固有名詞などを表すマルチメディアカードの基本言語を確立することができた.しかし,このマルチメディア言語を用いてコミュニケーションを行うためには視覚障害者と聴覚障害者の固有の障害を吸収するために別々のユーザインタフェースが必要となった.そこでマルチメディアカードの選別法として,聴覚障害者には,視覚ベース(絵カード),視覚障害者にはペン入力ベースのユーザインタフェースを構築し,簡単な会話に対しては本言語の有用性を確認した.さらに,双方のコミュニケーションを支援するための擬人化エージェントのサポート効果が非常に有効であるとの知見が得られた.