Developmental changes in environmental cues facilitating word learning during parent-child toy play

点击翻译按钮获取中文摘要

初年度は主に，①収集したコーパスデータのアノテーション付与および環境整備，②半自動アノテーションに向けた機械学習手法の整備，③海外の研究者とのネットワーク形成，の3点を実施した。①について，本研究課題の実施前から既に収集開始していた，乳幼児とその保護者およそ90組を対象にした「親子遊び調査」コーパスに対して，アノテーションの付与を実施した。この調査では，特定の用途をもつ物品を使って親子で遊んでもらい，その際の音声・映像データを収集した。300以上ある音声・映像データに対して，発話や行為の開始・終了のタイミングおよび発話の文字起こしが完了し，アノテーションマニュアルのオープン化に向けた整備を進めた。親子の一人称始点の映像に対して，クラウドソーシングでのアノテーションが可能となるよう，追加での同意書取得も実施した。②について，発話は行為の半自動アノテーションを実施するため，筑波大学や京都大学の協力を得て，さまざまな機械学習アプローチを模索した。例えば，発話については，発話セグメンテーションや自動音声認識などのプラットフォーム活用を試みた。行為についても，YOLOv5などの物体認識アルゴリズムを用いたアノテーションを試みた。③については，世界赤ちゃん研究学会 (ICIS) に参加・発表した。さらに，マルチモーダルなコーパスの構築・分析を実施するために，米国テキサス大学や，インディアナ大学，ヒューストン大学，英国Warwick大学，スイス・バーゼル大学の研究者と研究交流し，情報共有するとともに助言を得た。