权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

マルチモーダル非言語行動の機能スペクトラム解析に向けた計算基盤の構築

构建多模态非语言行为功能谱分析的计算平台

基本信息

批准号：
21K12011
负责人：
大塚和弘
金额：
$ 2.66万
依托单位：
Yokohama National University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

人の対話において表出される多様かつ曖昧な非言語行動を定量的に解析・理解するため、これらの行動がもつ意味や機能の分布強度を表す『非言語機能スペクトラム』という新概念を提唱し、これらの機能のスペクトラムを推定する方法を提案し、さらに推定結果に基づいて、対話者の主観の予測を行う方法を考案した。前年度までに構築した頭部運動機能の認識モデルは、時刻ごとにその機能の有無を2値として出力するモデルであったのに対して、当該年度は、機能の表出・知覚の強度を連続値として表現し、推定する深層回帰モデルを開発した。これにより非言語機能スペクトラムの推定分解能を向上させることができた。また、対話者の主観的印象を予測する課題については、前年度に構築した頭部運動機能に基づく予測モデルを拡張して、印象形成に寄与した行動だけではなく、その行動が生起した時刻を細かく特定する印象予測・説明モデルを構築した。このモデルは、印象予測に対する各特徴量の貢献の度合いを時間軸上に展開をした分布を求めるという定式化に顕著な新規性が認められる。特定された時刻に対するケーススタディや定量評価を行い、その妥当性を確認した。さらに頭部運動の特徴に加えて、言語特徴を導入した印象予測・説明モデルも構築し、対話の議題やタスクに応じて、言語特徴を含めたモデルがより高い性能を発揮しうることも確認した。さらに昨年、構築した顔表情の機能を認識するモデル、及び、頭部運動と顔表情の相乗機能を認識するモデルそれぞれの出力結果を利用し、これらの機能に基づく特徴量を加えた印象の予測モデルも構築した。結果、印象の項目に応じて、顔表情の機能や相乗機能が予測に寄与することを分析により明らかにした。以上のように当該年度は更に非言語機能スペクトラムの計算基盤の構築を進め、研究が大きく進捗した。

People の words に seaborne おいて table out される many others かつな ambiguous nonverbal actions を quantitative analytical, understanding すにるため, これらの action がもつ mean や function の distribution intensity を table す "function of non-verbal スペクトラム" という new concept を sing し, これらの function のスペクトラムを presumption する method proposed をし, さらにに constructive results Youdaoplaceholder0 づて, the interlocutor 観観 tests を, う method を test case た. Before the annual までに build した head motor function の know モデルは, moment ごとにその function の presence of を 2 nt として output するモデルであったのにし seaborne て, when the annual は, functional の table, to know 覚の strength を even 続 numerical としてし, presumption する deep 帰 back モデルを open 発した. The non-verbal function is スペトラムトラムトラム the presumed decomposition function is を upward させるとがでとがでたたたたたたたたたたたまた, words seaborne の観 impression を Lord be する subject については, former annual に build した head motor function に base づく be モデルを company, zhang して, impression formation に send しただ action けではなく, その action が arise した moment を fine かく specific する impression to the measure, explain モデルを build した. このモデルは and impression to にす seaborne る scout 徴のの contribution degree or amount of いをに launched on time axis をした distribution を o めるという demean に顕が to recognize the new gauge な sex められる. At a specific された moment, に quantitatively assesses 価を the appropriateness of を and そを and confirms たた. のさらに head movement, 徴に plus えて, words 徴を import した impression to the measure, explain モデルも build しや, polices の issues タスクに応じて, words 徴を containing めたモデルがより high い performance を発 swing しうることも confirm した. さらに yesterday, constructing した function of facial expression のを know するモデル and び, head movement との facial expression function of phase 乗を know するモデルそれぞれの output results using をし, これらの function に base づく徴 especially in を add えのた impression be モデルも build した. Results, impression の project に応じて, facial expression の function 乗や phase function が to に send measurement and することを analysis により Ming らかにした. Above のように when the annual は more に function of non-verbal スペクトラムの calculation base plate の build を into め, research が big きく into 捗した.