权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

協調的ライブ記録が支えるアクティブラーニング＠オンラインの技術研究

协作式现场录音支持主动学习@在线技术研究

基本信息

批准号：
21K12155
负责人：
西村竜一
金额：
$ 2.58万
依托单位：
Wakayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では、アクティブラーニングをオンライン展開するために必要となる要素技術開発を行う。特に、グループワークをオンラインで実施することを想定し、学生と学生、学生と指導者、指導者と指導者の間の意思疎通を支援する技術を開発する。昨年度に引き続き、対話によるフレキシブルな意思疎通を実現するための話者判別法の検討を行った。深層学習を用いた若年話者判別タスクに深層話者埋め込みベクトル（x-vector）を導入した。加えて、x-vectorを改良した話者年齢埋め込みベクトル（Age-vector）を提案した。実験を通じて従来法からの性能改善を確認した。HiFi-GANを用いた帯域拡張による音声信号の高品質化を評価し、複数話者テキスト音声合成のためのニューラルボコーダを大量に手に入る音声認識コーパスに基づいて構築する方法を検討した。波形伸縮処理を用いた早口講義音声の修正法を検討した。音素単位に分割した録音済の講義音声波形に対して、深層学習モデルが出力するTTS合成音声の音素継続長を参照し、時間方向の伸縮処理を適用した。比較実験の結果、母音に限り伸長処理を適用した場合の「発話速度の適切さ」が改善することを確認した。深層学習を用いた音源分離について、録音したライブ音源に含まれる雑音を抑圧する深層学習モデル（Conv-TasNet）を評価した。742種類の楽曲と92種類の雑音の組合せによる混合音68,264種類から深層学習モデルを構築し、分離性能を評価した。ウェブカメラ画像を用いたオンライン講義受講態度の可視化システムを試作した。本システムでは、仮想カメラ機能を用いて、ウェブカメラの顔画像の代わりに、撮影した画像を抽象化したアイコンをビデオ会議システム上に提示する。オンラインで授業に参加する受講生のPC画面注視状態とジェスチャー（マル・バツ）をウェブカメラ画像から自動検出する。

This study is aimed at the development of essential technologies. The development of technology for communication between students, students, mentors and mentors Last year's survey was conducted on the meaning of the survey. Deep learning is used to identify the age of the speaker. Deep learning is used to identify the age of the speaker. Add to the list, x-vector improvement, Age-vector improvement. The improvement of performance was confirmed by the introduction of new technologies. HiFi-GAN is used to evaluate the high quality of audio signals in the middle of the band expansion, and the method for constructing the base of audio recognition in a large number of hands is discussed. Waveform expansion processing is used in the early part of the sound correction method to discuss The phoneme length of the TTS synthesized sound is referenced and the time direction is expanded. Compare the results of the test and confirm the improvement of the transmission speed in the case where the vowel limit extension processing is applicable. Deep learning uses audio separation, recording, and audio suppression to evaluate deep learning (Conv-TasNet) 742 kinds of music, 92 kinds of music, 68,264 kinds of music, deep learning, construction, separation performance evaluation It's a visual representation of the attitude of the audience. This is the first time that the user has been prompted to abstract the image from the image, the image, and the image. The PC screen watching status of the participant in the lecture is automatically displayed.