A mechanism on cross-modal interactions of synesthesia-Functional neuroimaging of colored-hearing synesthesia and digital media

联觉跨模态相互作用的机制——彩色听觉联觉与数字媒体的功能神经影像

• 批准号: 21300086
• 负责人: NAGATA Noriko
• 金额: $ 6.82万
• 依托单位: Kwansei Gakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21300086/
• 关键词: 感性情報処理; 計測工学; 脳; 神経; マルチモーダルインタフェース; 共感覚; 色聴; fMRI; 感性情報学; 脳・神経

Synesthesia is an interesting phenomenon in which the stimulation of one sensory modality involuntarily elicits a perception in another modality. In this study, we focused on one typical synesthesia : seeing colors while listening to sounds, which is called "colored hearing." We examined the brain's mechanism with neuroimaging technology. Furthermore, we applied the synesthesia phenomenon to digital media creations, and we achieved scientific-based interactive arts between music and colors. The results of the research have been made public through mass media, including TV and press reports, and we succeeded in helping the public understand synesthesia better.

联觉是一个有趣的现象，其中一种感觉方式刺激不由自主地引起另一种方式的感知。在这项研究中，我们专注于一种典型的联觉：在听声音时看到颜色，这称为“彩色听力”。我们通过神经影像技术检查了大脑的机制。此外，我们将联觉现象应用于数字媒体创作，并在音乐和颜色之间实现了基于科学的互动艺术。这项研究的结果通过大众媒体（包括电视和新闻报道）公开，我们成功地帮助公众更好地理解联觉。

项目成果

(6)四宮優・長田典子・鈴木輝昭・鈴木あずさ(2011.1.13,銀座ブルガリタワー8階プライベート・ラウンジ(東京)). trace(cross-wiring), The Lounge(Dandans Exhibition No.7),オープニングパフォーマンス,鈴木あずさ氏による、鈴木輝昭ピアノ独奏曲初演.

(6) Yu Shinomiya、Noriko Osada、Teruaki Suzuki、Azusa Suzuki（2011年1月13日，银座宝格丽塔8楼私人休息室（东京））trace（交叉布线），The Lounge（Dandans Exhibition No.7），开幕表演。 ：铃木辉明的铃木梓钢琴独奏作品首演。

Brain Activity in the Color Area When Listening to Music : An fMRI Study of Synesthesia

听音乐时颜色区域的大脑活动：联觉的功能磁共振成像研究

• 发表时间: 2011
• 作者: Yayama;R.;Shimotomai;T.;Takahashi;R.;Akatsuka;S.;Aiba;E.;Fujisawa;T. X.;& Nagata;N.
• 通讯作者: N.

Virtual Noctiluca : Interaction between Light and Water using Real-time Fluid Simulation and 3D Motion Measurement

Virtual Noctiluca：利用实时流体模拟和 3D 运动测量实现光与水的相互作用

• 发表时间: 2009
• 期刊: ICEC2009, Lecture Notes in Computer Science
• 作者: Aida;K.;& Nagata;N.
• 通讯作者: N.

(9)東京MXテレビ「ガリレオチャンネル共感覚のミステリー」が第51回科学技術映像祭文部科学大臣賞受賞,入選作品上映会が全国13都市で開催, 2010.03.11.

（9）东京MX电视台《伽利略频道联觉之谜》荣获第51届科技电影节文部科学大臣奖，获奖作品在全国13个城市放映，2010.03 .11.

「なぜ音や文字に色が見えるのか」ケータイ版イミダス

“为什么我们会在声音和字母中看到颜色？”

• 发表时间: 2012
• 作者: 三宅泰亮;山地雄土;吉池佑太;P.Ravindra De Silva;岡田美智男;長田典子
• 通讯作者: 長田典子