权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Speech-to-Lecture: 教育エージェントによる学習教材の自動生成

Speech-to-Lecture：教育代理自动生成学习材料

基本信息

批准号：
21K12160
负责人：
長谷川大
金额：
$ 2.58万
依托单位：
Hokkai-Gakuen University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究課題は学習者主体の学びを支援するPedagogical Agentを利用した教材開発の簡易化を目標に、大規模なレクチャーデータセットにもとづいたデータドリブンアプローチによる発話音声に対応したジェスチャの自動生成を目的とする。初年度には既存のレクチャー動画像に対して3次元姿勢推定技術を適用することで、データセットを構築する予定であった。レクチャートークシリーズTEDのYouTubeチャンネル上の動画を3次元データ化し、データセット構築を試みた。しかしながら、TEDシリーズではカメラワークによる頻繁な画角切り替えやズームなどの変化があることから良好な姿勢推定結果を得ることが難しいことが明らかになった。また今回適応した姿勢推定処理のうち2次元姿勢データを抽出したのちの3次元姿勢データを推定する処理に非常に時間がかかり、期間内に十分なデータが得られないことが予想された。そのため、本年度は日本語データセットに比べてボリュームの大きい英語データセットを利用して、日本語のスピーチに対するジェスチャ生成を行うことを検討した。具体的には、まず英語スピーチ音声をテキスト化し、英語テキストからジェスチャを生成するモデルを学習する。この際、テキスト情報は、日本語テキストと英語テキストが同じ潜在空間で分散表現されるように学習されたembeddingを用いる。これにより、日本語テキストと英語テキストが意味的に類似する場合、互いに類似した単語ベクトルに変換されるため、英語データセットで学習したジェスチャ生成モデルに日本語テキストを入力することが可能になる。本手法を用いて、日本語のスピーチ音声をテキスト化し、ジェスチャ生成を試みた結果、単純に日本語を英語に翻訳してジェスチャを生成するより、良好な結果が得られることを確認した。

This research aims at facilitating the development of teaching materials by using Pedagogical Agents, and at generating sound automatically by using Pedagogical Agents. In the early years, the existing animation image was applied to the 3D posture estimation technology. The animation on TED's YouTube is a three-dimensional transformation, and the construction of the site is a trial. The result of the posture estimation is difficult to obtain. For example, if you want to estimate the posture of a person, you can estimate the posture of a person. This year's Japanese language competition is expected to be more effective than the Japanese language competition. Specific English, Chinese, Chinese, English, Chinese, Chinese, English, Chinese, Spanish, Spanish English, Japanese, Chinese, English, Chinese, English, Chinese, Chinese, English, Chinese, Chinese, Spanish, Spanish, The Japanese language is similar to the English language, and the English language is similar to the Japanese language. This method is used in Chinese, Japanese and English.