協調的ライブ記録が支えるアクティブラーニング＠オンラインの技術研究

点击翻译按钮获取中文摘要

本研究では、アクティブラーニングをオンライン展開するために必要となる要素技術開発を行う。特に、グループワークをオンラインで実施することを想定し、学生と学生、学生と指導者、指導者と指導者の間の意思疎通を支援する技術を開発する。昨年度に引き続き、対話によるフレキシブルな意思疎通を実現するための話者判別法の検討を行った。深層学習を用いた若年話者判別タスクに深層話者埋め込みベクトル（x-vector）を導入した。加えて、x-vectorを改良した話者年齢埋め込みベクトル（Age-vector）を提案した。実験を通じて従来法からの性能改善を確認した。HiFi-GANを用いた帯域拡張による音声信号の高品質化を評価し、複数話者テキスト音声合成のためのニューラルボコーダを大量に手に入る音声認識コーパスに基づいて構築する方法を検討した。波形伸縮処理を用いた早口講義音声の修正法を検討した。音素単位に分割した録音済の講義音声波形に対して、深層学習モデルが出力するTTS合成音声の音素継続長を参照し、時間方向の伸縮処理を適用した。比較実験の結果、母音に限り伸長処理を適用した場合の「発話速度の適切さ」が改善することを確認した。深層学習を用いた音源分離について、録音したライブ音源に含まれる雑音を抑圧する深層学習モデル（Conv-TasNet）を評価した。742種類の楽曲と92種類の雑音の組合せによる混合音68,264種類から深層学習モデルを構築し、分離性能を評価した。ウェブカメラ画像を用いたオンライン講義受講態度の可視化システムを試作した。本システムでは、仮想カメラ機能を用いて、ウェブカメラの顔画像の代わりに、撮影した画像を抽象化したアイコンをビデオ会議システム上に提示する。オンラインで授業に参加する受講生のPC画面注視状態とジェスチャー（マル・バツ）をウェブカメラ画像から自動検出する。