权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics

Brain2Music：通过神经音乐学和信息学的融合解码音乐意象

基本信息

批准号：
21K18311
负责人：
田中聡久
金额：
$ 16.39万
依托单位：
Tokyo University of Agriculture and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Pioneering)
财政年份：
2021
资助国家：
日本
起止时间：
2021-07-09 至 2025-03-31
项目状态：
未结题

项目摘要

想像している音楽（music imagery）を脳波により再生する課題に，神経科学，脳脳外科学，情報学を融合したアプローチで挑戦する．そのために，適切な心理物理課題による被験者実験によって非侵襲の頭皮脳波だけでなく，開頭手術による頭蓋内脳波を計測し，より質の高いデータを獲得する．このように計測した脳波データから，想像音楽をデコードするための深層学習技術を確立させることが本研究の目的である．本年度は以下の研究を実施した．① 等間隔ではないリズム（例えば ♪・♪・♪♪♪など）の想像について，前年度以前に非侵襲実験で計測したデータに対して，深層学習による推定を試みた．② 侵襲実験：頭蓋内脳波計測（順天堂大学）侵襲実験は，順天堂大学脳神経外科で，てんかんの外科治療のために頭蓋内に電極を留置している患者を対象にする．基本的には，側頭葉に電極を留置した，部分てんかんの患者に実験に参加してもらい，合計 3 名の脳波を計測することができた．音声デコーディングの先行研究から，想像の場合が最も困難であると思われる．そこで，実験参加者には，想像だけでなく，発声と傾聴の 3 つのタスクを課す．発声タスクでは，メロディを実際に発声してもらう．発声のタイミングを脳波と同期させるため，課題の指示プログラムを制作しした．これによって，同期を取りながら脳波を計測する事ができるようになった．想像タスクは，発声とほぼ同様であるが，頭の中で画面に指示するタスクを想像する．脳波収録の際には，発声と同様，トリガ信号を記録する．傾聴タスクは，発声・想像の両タスクで用いた音楽を聴くタスクである．また，利用するメロディは，「ドレミファ」のような簡単な音階と，有名曲・無名曲を，プロの作曲家に依頼することで作曲した．

Imagine the music imagery, the music imagery. For the first time in the history of surgery, the brain waves were measured and the quality of the brain waves was measured. The purpose of this study is to establish a deep learning technique for the measurement of sound waves. This year, the following research has been carried out. (1) Equal intervals are used to measure and estimate the impact of the previous year's non-invasive activities. 2. Invasion: Intracranial wave measurement (Shuntian University) Invasion: Shuntian University Neurosurgery Department, Department of Surgery, Department of Surgery, Department of Basically, the electrodes on the lateral cephalic lobes were retained, and some patients actually participated in the surgery, so a total of 3 patients had their pulse waves measured. Sound and sound are the most difficult situations to imagine. For example, if you are a participant, imagine that you are a participant. If you are a participant, imagine that you are a participant. The sound of the sound is not good, but the sound of the sound is not good. The project was launched in 2008. This is the first time I've ever seen one. Imagine the sound of the sound and the sound of the sound. When recording, the sound is the same. The sound of the voice is heard. Imagine the sound of the voice. There are famous songs and nameless songs, and there are composers who compose music according to the music.