An optimum method of displaying speakers' face images and captions for a real-time speech-to-caption system for the deaf

聋人实时语音字幕系统显示说话者人脸图像和字幕的最佳方法

• 批准号: 19700627
• 负责人: KUROKI Hayato
• 金额: $ 2.49万
• 依托单位: Tsukuba University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-19700627/
• 关键词: ヒューマン・インタフェース; 障害者支援; 音声認識; 字幕; ノンバーバル情報; 教育工学; 認知科学; 情報工学; ユーザインタフェース; 高等教育支援

Our througoing real-time speech-to-caption system that using speech recognition technology with a "repeat-speaking" method showed that the accuracy of the captions is about 97% in Japanese-Japanese conversion. We found the idea to display information of captions and speaker's face movement images with a suitable way to achieve a higher comprehension. The results showed that the mouth movements contribute to improve the comprehension of the captions, and the sequence "to display the caption before the speaker's face image" improves the comprehension of the captions also.

我们的实时语音字幕转换系统采用语音识别技术，采用“重复说话”的方法，在日-日转换中，字幕的准确率达到97%左右。我们发现的想法，显示字幕和说话人的面部运动图像的信息，以适当的方式，以实现更高的理解。实验结果表明，嘴部动作有助于提高字幕的理解能力，“先字幕后说话人脸”的顺序也能提高字幕的理解能力。

项目成果

アメリカにおける聴覚障害者のための文字による情報保障技術に関する報告

美国听力障碍者书面信息安全技术报告

• 发表时间: 2008
• 期刊: 筑波技術大学テクノレポート 15
• 作者: H.Kuroki;S.Ino;S.Nakano;K.Hori;T.Ifukube;H.KUROKI;中野聡子;黒木速人
• 通讯作者: 黒木速人

音声認識技術を利用した字幕呈示システムの活用に関する研究-聴覚障害者のニーズに即した呈示方法-

利用语音识别技术的字幕呈现系统的使用研究 - 满足听障人士需求的呈现方法 -

• 发表时间: 2008
• 期刊: メディア教育研究 5
• 作者: H.Kuroki;S.Ino;S.Nakano;K.Hori;T.Ifukube;H.KUROKI;中野聡子
• 通讯作者: 中野聡子

A Method for Determining the Timing of Displaying the Speaker's Face and Captions for a Real-Time Speech-to-Caption System

实时语音字幕系统中确定说话者面部和字幕显示时机的方法

• 发表时间: 2010
• 期刊: SICE JCMSI Vol.3,No.6
• 作者: H.Kuroki;S.Ino;S.Nakano;K.Hori;T.Ifukube
• 通讯作者: T.Ifukube