身体表現と声色からのマルチモーダル感情知覚プロセス　文化と発達的視点からの検討

基于身体表达和语气的多模态情感感知过程：从文化和发展角度审视

• 批准号: 22K18160
• 负责人: 山本 寿子
• 金额: $ 3万
• 依托单位: Tokyo Woman's Christian University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K18160/
• 关键词: 身体表現; 感情; 視聴覚統合; 声色; 発達; 多感覚知覚; 身体; 音声

我々は相手の顔を見たり声を聞いたりと、感情をマルチモーダルに読み取っている。従来の検討は顔と声の組み合わせからの読み取りに焦点が当てたものが多かったが、本研究では、身体表現と声色からのマルチモーダル感情知覚に焦点を当て、そのプロセスを文化差と発達的変化の視点から検討する。そして、マルチモーダル感情知覚モデルの構築を目指す。この実現にあたって、日本人による身体表現を用いたマルチモーダルデータベースの作成、マルチモーダル感情知覚様式の比較文化的検討、マルチモーダル感情知覚様式の発達的変化の検討の3つの側面から研究を行うものである。令和4年度は、データベース作成に向けての計画および撮影の準備と、マルチモーダル感情知覚様式の発達的変化にかかわる検討とデータの解析を行った。その結果、身体表現と声色の組み合わせからのマルチモーダル感情知覚は、顔と声の組み合わせのときには視覚情報から聴覚情報の方向に重視する手がかりがシフトするのに対して、身体表現と声の組み合わせではその逆に、聴覚情報から視覚情報に重視する手がかりがシフトすることが明らかとなった。また、身体表現を行うアクターの文化による影響も大きく、アクターが内集団であるほうが身体表現が伝わりやすいことも示唆された。さらに、身体表現を静止画にすると年齢を問わず一貫して声の影響が強まるが、身体表現が動画のときには静止画よりも声の影響が弱まるというように、感情知覚における時間的情報の重要性も示された。

I 々 は の yan を see your hand た り sound を smell い た り と, emotional を マ ル チ モ ー ダ ル に 読 み take っ て い る. Beg は 従 to の 検 yan と sound の group み close わ せ か ら の 読 み take り に focus が when て た も の が more か っ た が, this study で は, physical performance と timbres か ら の マ ル チ モ ー ダ ル feelings known 覚 に focus を when て, そ の プ ロ セ ス を culture difference と 発 of variations of の viewpoints か ら beg す 検 る. Youdaoplaceholder0 そ て, て チモ, チモ, ダ, ダ, emotional knowledge 覚モデ, <s:1>, construction を, finger す. こ の be presently に あ た っ て, Japanese に よ る body performance を use い た マ ル チ モ ー ダ ル デ ー タ ベ ー ス, マ の ル チ モ ー ダ ル feelings known 覚 の others type of comparative culture 検, マ ル チ モ ー ダ ル feelings known 覚 others type の 発 of variations of の beg の 検 3 つ の side か ら を line う も の で あ る. And 4 year は, デ ー タ ベ ー ス made に to け て の project お よ び pinch of shadow の と, マ ル チ モ ー ダ ル feelings known 覚 others type の 発 of variations of に か か わ る beg と 検 デ ー タ の parsing line を っ た. そ の results, physical performance と timbres の group み close わ せ か ら の マ ル チ モ ー ダ ル feelings known 覚 は, yan と sound の group み わ せ の と き に は apparent 覚 intelligence か ら hearing intelligence の direction に attaches great importance to the す る hand が か り が シ フ ト す る の に し seaborne て, sound body performance と の group み わ せ で は そ の inverse に, hearing intelligence か ら visual 覚 intelligence に attaches great importance to the す る hand が か り Youdaoplaceholder0 がシフトする とが Ming ら となった となった. ま た, body line performance を う ア ク タ ー の culture に よ る も affected き く, ア ク タ ー が set within 団 で あ る ほ う が body performance が 伝 わ り や す い こ と も in stopping さ れ た. さ ら に を static painting, physical performance に す る と years 齢 を asked わ ず consistently し て sound の strong influence が ま る が が animation, physical performance の と き に は static painting よ り も sound の が low ま る と い う よ う に, feelings known 覚 に お け る time importance of intelligence の も shown さ れ た.

项目成果

発達心理学の研究にオンラインツールGorilla.scを導入する試み

将在线工具 Gorilla.sc 引入发展心理学研究的尝试

• 发表时间: 2022
• 作者: 藤澤隆史;島田浩二;滝口慎一郎;友田明美;周東美材;山本寿子
• 通讯作者: 山本寿子

身体と声色からの視聴覚感情知覚の発達的変化

身体和语调视听情感感知的发展变化

• 发表时间: 2022
• 作者: Yukihiro Inada;Hiroki Ito;Yousei Takeuchi;Kyoko Hasegawa;Liang Li;Satoshi Tanaka;山岸順一;山本寿子，田中章浩
• 通讯作者: 山本寿子，田中章浩