授業における非言語モダリティセンシングの高度化による情報保障・授業改善支援技術

通过提高课程中非语言情态感知的复杂性来支持信息安全和课程改进技术

• 批准号: 21H00901
• 负责人: 西崎 博光
• 金额: $ 10.15万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H00901/
• 关键词: 音声認識; 話し方評価; 情報保障; 非言語モダリティセンシング; 音声字幕; 機械翻訳; 字幕作成; 行動分析; 話し方分析; 非言語現象の整形; 印象評定; 授業改善; 教室映像解析; 非言語情報; 深層学習; 授業改善支援; 映像分析

本研究の目的は，様々な形態で実施される授業において，講師の授業音声や受講者側の映像，教室内に設置されたカメラやマイクから取得した情報に含まれる非言語モダリティセンシング基盤技術の高度化を目的とする。そして，それを基に情報保障・授業改善支援技術を開発し，学生に対する授業のインプットの質を向上させ，教育改善が実現できることを実証する。2022年度の実績は次のとおりである。【非言語現象を考慮した音声認識技術による字幕・翻訳化】音声認識を阻害する要因である，不明瞭性，雑音・残響環境，言い直し・淀み・フィラー(「えーっと」などの有声休止)といった非言語現象に着目し，非言語現象を考慮した認識改善方法を研究した。加えて，発話に含まれる言語断片の解消などのテキストを整形する音声認識技術を開発し，これを用いることで理解しやすい翻訳文の字幕化技術を開発した。被験者実験によって，講演動画に開発した音声認識技術を用いて英語字幕を付与し，字幕の分かりやすさで評価したところ，本技術の有効性を確認することができた。【話し方を特徴付ける特徴量】話し方を特徴付ける特徴量を調査するために，大規模日本語音声コーパスを使った聴取実験（アンケート）の準備をおこなった。100人の被験者に約100発話（1分程度）の音声を聞いてもらい，聴きやすさ，理解しやすさなどの約30項目の印象評価をおこなったデータセットを収集するためのシステム開発をおこなった。【教室の映像・音 響センシング】教室に設置してあるカメラやマイクから得られた情報を用い，対面授業における受講生の行動分析技術を開発した。【成果とりまとめ】開発した各要素技術は，国内学会で発表をおこなった。また，雑誌論文ならびに国際会議論文にまとめ，投稿済みである。

は の purpose, this study others 々 で な form be applied さ れ る knowledge に お い て, lecturer の fill sounds や by speakers side の image, classroom に set さ れ た カ メ ラ や マ イ ク か ら obtain し た intelligence に containing ま れ る nonverbal モ ダ リ テ ィ セ ン シ ン グ base plate technology の を empirically purpose と す る. そ し て, そ れ を base に intelligence, security knowledge to improve support technology, open を 発 し, students に す seaborne る knowledge の イ ン プ ッ ト の qualitative を upward さ せ, education improve が be presently で き る こ と を card be す る. The <s:1> actual performance times in 2022 とお とお である である. 【 nonverbal phenomenon を consider し た sounds know technology に よ る subtitles, double 訳 turn 】 sounds know を resistance against す る by で あ る, unclear, 雑 sound reverberation environment, says い straight し · lake み · フ ィ ラ ー (" え ー っ と "な ど の audio resting) と い っ た nonverbal phenomenon に mesh し, nonverbal phenomenon を consider し た know improve methods を し た. Add え て, に 発 words contain ま れ る words fragment の null な ど の テ キ ス ト を plastic す る sounds know technology を open 発 し, こ れ を with い る こ と で understand し や す い turn 訳 article の subtitles technology を open 発 し た. By 験 be 験 に よ っ て, speech animation に open 発 し た を sounds know technology with い て English subtitles を give し, subtitles の points か り や す さ で review 価 し た と こ ろ, this technology の unseen availability を す る こ と が で き た. 【 words し party を 徴 pay especially け る, 徴 quantity 】 words し party を 徴 pay especially け る, を 徴 quantity survey す る た め に, large-scale Japanese phonetic sound コ ー パ ス を make っ た 聴 take be 験 (ア ン ケ ー ト) の prepare を お こ な っ た. 100 has been about 100 発 験 person に の (1) の sounds を smell い て も ら い, 聴 き や す さ, understand し や す さ な ど の の impression about 30 project review 価 を お こ な っ た デ ー タ セ ッ ト を 収 set す る た め の シ ス テ ム open 発 を お こ な っ た. The classroom の image, the sound loud セ ン シ ン グ 】 classroom に し て あ る カ メ ラ や マ イ ク か ら must ら れ た intelligence を い, face-to-face industry polices に お け る born by speaking の を open 発 action analysis technology し た. 【 Achievements と と まとめ】 Development of various elements of た technology, domestic societies で development list をお なった なった Youdaoplaceholder0, 雑 journal papers ならびに international conference papers にまとめ, submission to みである.

项目成果

Comparison of Static and Time-Sequential Features in Automatic Fluency Detection of Spontaneous Speech

自发语音自动流利度检测中静态特征与时序特征的比较

• DOI: 10.1109/o-cocosda202152914.2021.9660601
• 发表时间: 2021
• 期刊: Proceedings of the 24th Conference of the Oriental COCOSDA
• 作者: Deng Huaijin;Utsuro Takehito;Kobayashi Akio;Nishizaki Hiromitsu
• 通讯作者: Nishizaki Hiromitsu

日本語音声認識結果の整形に基づく分かりやすい英語字幕の生成

基于日语语音识别结果的格式化生成易于理解的英文字幕

• 发表时间: 2023
• 作者: 氏間和仁;西本月那;今津麻衣;永井伸幸;大島研介;奥村智人;Shunpei Yamaguchi; Ritsuko Oshima; Jun Oshima; Ryota Shiina; Takuya Fujihashi; Shunsuke Saruwatari; Takashi Watanabe;杉浦未希子・水谷裕佳（編）;小野田正利;堀田慎，堀井こはる，北岡教英，西崎博光
• 通讯作者: 堀田慎，堀井こはる，北岡教英，西崎博光

Voice Activity Detection for Live Speech of Baseball Game Based on Tandem Connection with Speech/Noise Separation Model

基于语音/噪声分离模型串联的棒球比赛现场语音语音活动检测

• DOI: 10.21437/interspeech.2021-792
• 发表时间: 2021
• 期刊: Proceedings of INTERSPEECH2021
• 作者: Nonaka Yuto;Leow Chee Siang;Kobayashi Akio;Utsuro Takehito;Nishizaki Hiromitsu
• 通讯作者: Nishizaki Hiromitsu

A new speech corpus of super-elderly Japanese for acoustic modeling

用于声学建模的超长日语新语音语料库

• DOI: 10.1016/j.csl.2022.101424
• 发表时间: 2023
• 期刊: Computer speech and language
• 影响因子: 4.3
• 作者: Meiko Fukuda;Ryota Nishimura;Hiromitsu Nishizaki;Koharu Horii,Yurie Iribe;Kazumasa Yamamoto;Norihide Kitaoka
• 通讯作者: Norihide Kitaoka

ExKaldi-RT: A Real-Time Automatic Speech Recognition Extension Toolkit of Kaldi

• DOI: 10.1109/gcce53005.2021.9621992
• 发表时间: 2021-04
• 期刊: 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE)
• 作者: Yu Wang;Chee Siang Leow;A. Kobayashi;T. Utsuro;H. Nishizaki