マルチモーダルセンシングによる頷き行動のモデル化と知識コンテンツ獲得への応用

点击翻译按钮获取中文摘要

本研究ではコミュニケーションや学習といったアクティビティを,映像コンテンツとしてアーカイブ化する際に,登場する人物の頷きやジェスチャーといった意図的あるいは非意図的な行為をマルチモーダルセンシングにより抽出し,コンテンツに知識情報をメタデータとして付与することで,深みのある知識映像コンテンツを作り出すことを目的として推進してきた.本年度は,これまでに蓄積したセンシングおよびコンテシツ化技術を活用し下記の実務応用に取り組んだ.1.車の運転における運転者および同乗者の反応から状況をコンテンツ化運転者の覗き込み行為から必要なコンテンツを生成する技術として応用2.住環境における家電機器制御における住人の反応と状況をコンテンツ化住人の動きから,状況判断のためのコンテンツ生成技術として応用3.講演における会場の状況と講演者の反応をコンテンツ化講演者の状況から,情報保障を行うためのコンテンツ生成技術として応用4.幼児教室における幼児の行動と反応をゴンテンツ化幼児の行動から幼児の成長や概念獲得を獲得するための観測用コンテンツ生成応用本年度は「頷き」行為だけにとどまらず広くアクティビティにおける状況と人間の行為の関係について検討しながら応用技術の開発・実験を行ってきた.単純に記録するというコンテンツ化技術は多く研究・開発されているが,映像コンテンツに深みの方向を与える知識をリアルタイムに抽出しながら映像に付与し,単純に見るだけでは不可能な理解や解釈を与える有効な手段となり得る見通しを得た.