Speech-to-Lecture: 教育エージェントによる学習教材の自動生成

点击翻译按钮获取中文摘要

本研究課題は学習者主体の学びを支援するPedagogical Agentを利用した教材開発の簡易化を目標に、大規模なレクチャーデータセットにもとづいたデータド リブンアプローチによる発話音声に対応したジェスチャの自動生成を目的とする。初年度には既存のレクチャー動画像に対して3次元姿勢推定技術を適用することで、データセットを構築する予定であった。レクチャートークシリーズTEDのYouTubeチャンネル上の動画を3次元データ化し、データセット構築を試みた。しかしながら、TEDシリーズではカメラワークによる頻繁な画角切り替えやズームなどの変化があることから良好な姿勢推定結果を得ることが難しいことが明らかになった。また今回適応した姿勢推定処理のうち2次元姿勢データを抽出したのちの3次元姿勢データを推定する処理に非常に時間がかかり、期間内に十分なデータが得られないことが予想された。そのため、本年度は日本語データセットに比べてボリュームの大きい英語データセットを利用して、日本語のスピーチに対するジェスチャ生成を行うことを検討した。具体的には、まず英語スピーチ音声をテキスト化し、英語テキストからジェスチャを生成するモデルを学習する。この際、テキスト情報は、日本語テキストと英語テキストが同じ潜在空間で分散表現されるように学習されたembeddingを用いる。これにより、日本語テキストと英語テキストが意味的に類似する場合、互いに類似した単語ベクトルに変換されるため、英語データセットで学習したジェスチャ生成モデルに日本語テキストを入力することが可能になる。本手法を用いて、日本語のスピーチ音声をテキスト化し、ジェスチャ生成を試みた結果、単純に日本語を英語に翻訳してジェスチャを生成するより、良好な結果が得られることを確認した。