マルチメディアの相互補完的協調利用による感覚障害者間の伝達支援に関する研究

多媒体互补协作使用对感觉障碍人群沟通支持的研究

• 批准号: 12780140
• 负责人: 清田 公保
• 金额: $ 1.22万
• 依托单位: Kumamoto National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12780140/
• 关键词: 感覚障害; 視覚障害者; 聴覚障害者; ヒューマンコミュニケーション; コミュニケーションエイド; マルチメディア; 感覚代行

本研究は,感覚障害者間の双方向コミュニケーションを実現するためのコミュニケーションエイドとなる通信端末インタフェースを開発すると共に,映像・音声・テキストが有意的に結合されたマルチメディア言語の基本設計思想の確立とその有効性を明らかにすることを目的とする.本研究では,日本版PICと呼ばれる絵図画に音声情報と動作情報を含めたものをマルチメディア言語として新たに定義し,この言語を利用したコミュニケーション支援システムの構築を検討した.提案するマルチメディア言語では,日本版PICを基にPICカードをスキャナーで取り込み画像ファイルとし,これに音声出力用WAVファイル(読み上げファイル),テキスト情報を付加した.この情報ファイルをマルチメディアカードと呼び,視覚障害者と聴覚障害者の両方に共通に利用可能なコミュニケーション言語の基本用語として定義化し,データベースを作成した(現在,登録語1071種).さらに,静止画では表現しにくい動詞を表す用語については動画を採用することを提案し,効果的な速度,コマ数,動作表現法などの評価実験を行い,最適な設定値の選定を行った.このようにして作成したマルチメディアカードには,名詞や動詞,副詞,形容詞など会話に必要な基本用語が登録されており,感覚障害者間の双方向のコミュニケーションを行うのに必要な日常会話に用いられる用語や動作,感情表現,固有名詞などを表すマルチメディアカードの基本言語を確立することができた.しかし,このマルチメディア言語を用いてコミュニケーションを行うためには視覚障害者と聴覚障害者の固有の障害を吸収するために別々のユーザインタフェースが必要となった.そこでマルチメディアカードの選別法として,聴覚障害者には,視覚ベース(絵カード),視覚障害者にはペン入力ベースのユーザインタフェースを構築し,簡単な会話に対しては本言語の有用性を確認した.さらに,双方のコミュニケーションを支援するための擬人化エージェントのサポート効果が非常に有効であるとの知見が得られた.

は this study, the feeling 覚 handicap of の between the two sides to コ ミ ュ ニ ケ ー シ ョ ン を be presently す る た め の コ ミ ュ ニ ケ ー シ ョ ン エ イ ド と な る communication end イ ン タ フ ェ ー ス を open 発 す る と に, images, sounds, テ キ ス ト が intentional に combining さ れ た マ ル チ メ デ ィ ア words の basic design thought の establish と そ の have sharper sex を Ming ら か に す る こ Youdaoplaceholder0 purpose とする. This study で は, Japanese version PIC と shout ば れ る 絵 図 painting に sounds と action intelligence を containing め た も の を マ ル チ メ デ ィ ア words と し て new た に define し, こ を の words using し た コ ミ ュ ニ ケ ー シ ョ ン support シ ス テ ム の build を beg し 検 た. Proposal す る マ ル チ メ デ ィ ア words で は, Japan version PIC を に PIC カ ー ド を ス キ ャ ナ ー で take り 込 み portrait フ ァ イ ル と し, こ れ に voice output with WAV sound フ ァ イ ル (読 み on げ フ ァ イ ル), テ キ ス ト intelligence を plus し た. こ の intelligence フ ァ イ ル を マ ル チ メ デ ィ ア カ ー ド と び, regard 覚 handicap person と hearing Handicap is の に common に struck party may use な コ ミ ュ ニ ケ ー シ ョ ン basic language words の と し て definition し, デ ー タ ベ ー ス を made し た (login now, 1071). さ ら に, static painting で は performance し に く い verb を table す language に つ い て は animation を using す る こ と を proposal し, unseen fruit な speed, コ マ number, action performance Method な ど の review 価 be 験 を い, optimum な set numerical の を selected rows っ た. こ の よ う に し て made し た マ ル チ メ デ ィ ア カ ー ド に は, nouns や verbs, adverbs and adjectives な ど login session に な necessary basic expressions が さ れ て お り, feeling 覚 handicap is の between the two sides to の コ ミ ュ ニ ケ ー シ ョ ン を line う の に necessary な に everyday conversation with い ら れ る language や, emotional expression, inherent noun な ど を table す マ ル チ メ デ ィ ア カ ー ド の を establish basic words す る こ と が で き た. し か し, こ の マ ル チ メ デ ィ を ア words with い て コ ミ ュ ニ ケ ー シ ョ ン を line う た め に は apparent 覚 handicap person と hearing handicap is の inherent の handicap of を suction 収 す る た め に don't 々 の ユ ー ザ イ ン タ フ ェ ー ス が necessary と な っ た. そ こ で マ ル チ メ デ ィ ア カ ー ド の seeding method と し て, hearing handicap person に は, apparent 覚 ベ ー ス (絵 カ ー ド), apparent 覚 handicap person に は ペ ン ベ into force ー ス の ユ ー ザ イ ン タ フ ェ ー ス を し, Jane 単 な session に し seaborne て は this speech の usefulness を confirm し た. さ ら に, both sides の コ ミ ュ ニ ケ ー シ ョ ン を Support す る た め の anthropomorphic エ ー ジ ェ ン ト の サ ポ ー ト unseen fruit が very に have sharper で あ る と の knowledge が have ら れ た.

项目成果

江崎修央,清田公保,引地徹,中田星児,山本眞司: "中途失明者用オンライン日本語入力システムの評価"電子情報通信学会 信学技報. HCS2000-19. 41-45 (2000)

Osaki Ezaki、Koyasu Kiyota、Toru Hikiji、Seiji Nakata 和 Shinji Yamamoto：“针对盲人的在线日语输入系统的评估”，IEICE 技术报告，HCS2000-19 (2000)。

中山智幸, 清田公保, 合志和洋, 古賀広昭: "擬人化エージェントの発話モデルにおける口唇画像の変化と人の印象に関する研究"電子情報通信学会九州支部大会講演論文集. D-21. p.82 (2001)

Tomoyuki Nakayama、Kimiyasu Kiyota、Kazuhiro Koshi、Hiroaki Koga：“拟人代理言语模型中嘴唇图像和人类印象的变化研究”IEICE 九州分会会议记录（2001 年）。

N.Ezaki, K.Kiyota, S.Yamamoto: "Pen-based Electronic Mail System for the blind"Proc.of Intemational Conference on Human-Computer Interaction. Vol.1. pp.450-pp.454 (2001)

N.Ezaki、K.Kiyota、S.Yamamoto：“盲人基于笔的电子邮件系统”人机交互国际会议记录。

中山典子, 清田公保, 藤澤和子, 井上智義: "マルチメディアと視覚シンボルによるコミュニケーション支援技術に関する研究"熊本県産学官技術交流会講演論文集. 第16回. pp.44-pp.45 (2002)

中山纪子、清田公保、藤泽和子、井上智义：《利用多媒体和视觉符号的通信支持技术研究》熊本县产学官技术交流会论文集（2002年）第16页。 ）

江崎修央, 清田公保, 引地徹, 中田星児, 山本眞司: "中途失明者向けオンライン日本語入力システム"システム制御情報学会論文誌. Vol.14 No.06. pp.34-pp.39 (2001)

Osaki Ezaki、Koyasu Kiyota、Toru Hikiji、Seiji Nakata、Shinji Yamamoto：“为失明人士提供的在线日语输入系统”，系统、控制和信息工程师学会汇刊第 14 卷第 34 期。 -第39页（2001年）