A mechanism on cross-modal interactions of synesthesia-Functional neuroimaging of colored-hearing synesthesia and digital media

联觉跨模态相互作用的机制——彩色听觉联觉与数字媒体的功能神经影像

• 批准号: 21300086
• 负责人: NAGATA Noriko
• 金额: $ 6.82万
• 依托单位: Kwansei Gakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21300086/
• 关键词: 感性情報処理; 計測工学; 脳; 神経; マルチモーダルインタフェース; 共感覚; 色聴; fMRI; 感性情報学; 脳・神経

Synesthesia is an interesting phenomenon in which the stimulation of one sensory modality involuntarily elicits a perception in another modality. In this study, we focused on one typical synesthesia : seeing colors while listening to sounds, which is called "colored hearing." We examined the brain's mechanism with neuroimaging technology. Furthermore, we applied the synesthesia phenomenon to digital media creations, and we achieved scientific-based interactive arts between music and colors. The results of the research have been made public through mass media, including TV and press reports, and we succeeded in helping the public understand synesthesia better.

联觉是一种有趣的现象，其中一种感觉方式的刺激会不自觉地引发另一种感觉方式的感知。在这项研究中，我们关注一种典型的联觉：在听声音的同时看到颜色，这被称为“彩色听觉”。我们利用神经影像技术检查了大脑的机制。此外，我们将联觉现象应用到数字媒体创作中，实现了音乐与色彩之间科学的互动艺术。研究结果已通过大众媒体，包括电视和新闻报道向公众公开，我们成功地帮助公众更好地了解联觉。

项目成果

Brain Activity in the Color Area When Listening to Music : An fMRI Study of Synesthesia

听音乐时颜色区域的大脑活动：联觉的功能磁共振成像研究

• 发表时间: 2011
• 作者: Yayama;R.;Shimotomai;T.;Takahashi;R.;Akatsuka;S.;Aiba;E.;Fujisawa;T. X.;& Nagata;N.
• 通讯作者: N.

(6)四宮優・長田典子・鈴木輝昭・鈴木あずさ(2011.1.13,銀座ブルガリタワー8階プライベート・ラウンジ(東京)). trace(cross-wiring), The Lounge(Dandans Exhibition No.7),オープニングパフォーマンス,鈴木あずさ氏による、鈴木輝昭ピアノ独奏曲初演.

(6) Yu Shinomiya、Noriko Osada、Teruaki Suzuki、Azusa Suzuki（2011年1月13日，银座宝格丽塔8楼私人休息室（东京））trace（交叉布线），The Lounge（Dandans Exhibition No.7），开幕表演。 ：铃木辉明的铃木梓钢琴独奏作品首演。

Virtual Noctiluca : Interaction between Light and Water using Real-time Fluid Simulation and 3D Motion Measurement

Virtual Noctiluca：利用实时流体模拟和 3D 运动测量实现光与水的相互作用

• 发表时间: 2009
• 期刊: ICEC2009, Lecture Notes in Computer Science
• 作者: Aida;K.;& Nagata;N.
• 通讯作者: N.

(9)東京MXテレビ「ガリレオチャンネル共感覚のミステリー」が第51回科学技術映像祭文部科学大臣賞受賞,入選作品上映会が全国13都市で開催, 2010.03.11.

（9）东京MX电视台《伽利略频道联觉之谜》荣获第51届科技电影节文部科学大臣奖，获奖作品在全国13个城市放映，2010.03 .11.

音と色のマルチモーダルインタラクション

声音和颜色的多模态交互

• 发表时间: 2010
• 作者: Kagawa;T.;Ohta;Y.;Uno;Y.;小見志郎;柳瀬利彦,長谷川禎彦,伊庭斉志;長田典子
• 通讯作者: 長田典子