聴覚障害者のための音声同時字幕システムにおける最適情報呈示に関する研究

听障同步音频字幕系统最优信息呈现研究

• 批准号: 17700601
• 负责人: 黒木 速人
• 金额: $ 1.92万
• 依托单位: Tsukuba University of Technology (2006)The University of Tokyo (2005)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700601/
• 关键词: 教育工学; ユーザインターフェース; 障害者支援; 音声認識; 字幕; ノンバーバル情報; 情報工学; 認知科学; ユーザインタフェース

音声認識を用いたリアルタイム字幕システムの研究を行っている.現状では精度100%の字幕の提供は困難であり,字幕には誤認識単語などの間違いが含まれた不完全な文章になる.重要なのは伝達する内容の理解を100%に近づけることであり,そのためには不完全部分を補うための情報を最適に呈示することが重要になる.本年度は,次の2つの小項目に関し,被験者を増やした時に同様の傾向が得られるかを確認した.1.不完全な文に対し話者の顔などのノンバーバル情報の活用による効果とその最適表示の方法,1-1 ノンバーバル情報として顔のどの領域を呈示するのが良いか.1-2 ノンバーバル情報と字幕との呈示タイミングをどう制御するのが良いか.1-1では,不完全文からなる字幕のみの呈示(字幕のみ)をコントロールとして,不完全文に対し話者の発話時の顔全体映像を付加した場合(字幕+顔),同状態における口元近接映像を付加した場合(字幕+口元)の3種で比較した。完全文(正解文)に対する回答文の正答率を文理解の向上の指標として健聴者と聴覚障害者に対し実験を行った結果,いずれの被験者群においても正答率は,「字幕のみ」<「字幕十顔」<「字幕十口元」となる傾向を示した.このことからノンバーバル情報を付加することで文理解が向上する傾向が確認された.聴覚障害者においては統計的にこの傾向が確認された.1-2では,ノンバーバル情報として話者の発話時の顔全体映像を用い,ノンバーバル情報に対して不完全文の呈示に時差(-5秒〜+5秒)を設けた試料に対し,いずれの時差が文理解の向上に貢献するかを比較した.先の実験と同様に正答率を聴覚障害者と健聴者で求めた結果,正答率は時差なし(±0秒)ではあまり向上が認められず,字幕先行側に1秒ずらした場合(-1秒(字幕先行1秒))が高くなる傾向を示した.また字幕先行側に外れるほど正答率が単調増加する傾向を示した.これらの傾向は聴覚障害者・健聴者を問わず確認された.

A study on the application of sound recognition to the study of sound recognition. The present situation is that the accuracy of subtitles is 100% and it is difficult to provide subtitles. Important: Understanding of content is 100% close, incomplete, complementary and optimal presentation of information is important. This year, the number of small items related to the second time, the number of people who have been identified, the number of people who have not been identified, the number of people who have been identified, the number of people who have not been identified, the number of people who have been identified, 1-1 There are three kinds of comparisons in the same state (caption + caption). In the end, the correct answer rate of the answer text is higher than the correct answer rate of the answer text. This is the first time I've ever seen a person who's been in a relationship with someone who's been in a relationship with me. 1 -2. The tendency of the victim to analyze the statistics is confirmed. 1 -2. The information of the victim is used in the overall image of the speaker's voice, and the information of the victim is used in the presentation time difference (-5 seconds to +5 seconds) of the full text. The correct response rate is higher than the correct response rate. The correct response rate is higher than the correct response rate. The correct response rate is higher than the correct response rate. The correct response rate is higher than the correct response rate. The tendency to increase the response rate is shown in the following table. The tendency of the victim to be injured and the healthy person to be injured is confirmed.

项目成果

聴覚障害者のための音声同時字幕システムの遠隔地運用の結果とその評価

听力障碍者同步音频字幕系统远程操作的结果和评估

• 发表时间: 2006
• 期刊: ヒューマンインタフェース学会論文誌 Vol.8・No.2
• 作者: 黒木速人;井野秀一;中野聡子;堀耕太郎;伊福部達
• 通讯作者: 伊福部達

聴覚障害者のための音声字幕化システムにおけるノンバーバル情報の呈示方法に関する研究

听障人士音频字幕系统非语言信息呈现方法研究

• 发表时间: 2006
• 期刊: 第45回日本生体医工学会大会論文集 44・Suppl.1
• 作者: Hiroshi KAWAKATSU;Masako TANEMURA;Kyoko ISHII;Haruka ONISHI;Mika YOKOE;Yoshiaki HIRAKI;Miwa ONISHI;Hiroki TAKEUCHI;Takashi HOSHINO;Tomoyasu YOSHIMURA;Masashi KONDO;Yoshiaki YAMADA and Shinobu RYUGO;種村雅子・雲財康雄・南木留美;雲財康雄・種村雅子;筒井和幸・廣瀬明浩・種村雅子・斎藤吉彦;中野聡子;黒木速人;黒木速人;H.Kuroki;黒木速人
• 通讯作者: 黒木速人

A study on A Real-Time Voice-to-Subtitle Translation System Using Man/Machine Interface

人机界面实时语音字幕翻译系统的研究

• 发表时间: 2006
• 期刊: 9th Asia-Pacific Congress on Deafness and 40th Annual Conference of the Japanese Deaf Education Association -Abstract Book-
• 作者: Hiroshi KAWAKATSU;Masako TANEMURA;Kyoko ISHII;Haruka ONISHI;Mika YOKOE;Yoshiaki HIRAKI;Miwa ONISHI;Hiroki TAKEUCHI;Takashi HOSHINO;Tomoyasu YOSHIMURA;Masashi KONDO;Yoshiaki YAMADA and Shinobu RYUGO;種村雅子・雲財康雄・南木留美;雲財康雄・種村雅子;筒井和幸・廣瀬明浩・種村雅子・斎藤吉彦;中野聡子;黒木速人;黒木速人;H.Kuroki
• 通讯作者: H.Kuroki

音声認識技術を活用した高等教育機関における聴覚障害者の情報保障(2)-中間支援者の修正作業に着目して-

利用语音识别技术保障高等院校听障人员的信息安全（二）-重点关注中级辅助人员的矫正工作-

• 发表时间: 2005
• 期刊: 日本特殊教育学会第43回大会発表論文集
• 作者: 菊地真里;金澤貴之;中野聡子;黒木速人;井野秀一;伊福部達;福島智
• 通讯作者: 福島智

視覚障害者のための音声同時字幕システムの遠隔地運用の結果とその評価

视障人士同步音频字幕系统远程操作结果与评估

• 期刊: ヒューマンインタフェース学会誌 (印刷中)
• 作者: 黒木速人;井野秀一;中野聡子;堀耕太郎;伊福部達
• 通讯作者: 伊福部達