Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics

点击翻译按钮获取中文摘要

想像している音楽（music imagery）を脳波により再生する課題に，神経科学，脳脳外科学，情報学を融合したアプローチで挑戦する．そのために，適切な心理物理課題による被験者実験によって非侵襲の頭皮脳波だけでなく，開頭手術による頭蓋内脳波を計測し，より質の高いデータを獲得する．このように計測した脳波データから，想像音楽をデコードするための深層学習技術を確立させることが本研究の目的である．本年度は以下の研究を実施した．① 等間隔ではないリズム（例えば ♪・♪・♪♪♪など）の想像について，前年度以前に非侵襲実験で計測したデータに対して，深層学習による推定を試みた．② 侵襲実験：頭蓋内脳波計測（順天堂大学）侵襲実験は，順天堂大学脳神経外科で，てんかんの外科治療のために頭蓋内に電極を留置している患者を対象にする．基本的には，側頭葉に電極を留置した，部分てんかんの患者に実験に参加してもらい，合計 3 名の脳波を計測することができた．音声デコーディングの先行研究から，想像の場合が最も困難であると思われる．そこで，実験参加者には，想像だけでなく，発声と傾聴の 3 つのタスクを課す．発声タスクでは，メロディを実際に発声してもらう．発声のタイミングを脳波と同期させるため，課題の指示プログラムを制作しした．これによって，同期を取りながら脳波を計測する事ができるようになった．想像タスクは，発声とほぼ同様であるが，頭の中で画面に指示するタスクを想像する．脳波収録の際には，発声と同様，トリガ信号を記録する．傾聴タスクは，発声・想像の両タスクで用いた音楽を聴くタスクである．また，利用するメロディは，「ドレミファ」のような簡単な音階と，有名曲・無名曲を，プロの作曲家に依頼することで作曲した．