聴覚モデルに基づく新しい人工内耳による音声・音楽信号処理の研究

基于听觉模型的新型人工耳蜗的语音和音乐信号处理研究

• 批准号: 21650036
• 负责人: 北澤 茂良
• 金额: $ 2.05万
• 依托单位: Shizuoka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Exploratory Research
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21650036/
• 关键词: 人工内耳; 人工内耳装用者; ストラテジー; コクレア; CSPE; ACE; 音高聴取; 人工内耳音階

前年度からの研究の継続して、抽出したMIDI等の音楽情報からの主旋律を、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとする。またこのとき、音階を高調波及び低調波に展開した音階マップを用いる。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。これまで、人工内耳音階への割付による歪のため、原曲とは異なり、音痴気味になり、また、キーが高すぎて歌唱に適さない問題点があったが、本年度は、拡張人工内耳音階とすることによって、健聴者および人工内耳装用者にとって違和感のないメロディを提供できた。日本の童謡130曲を対象とし、拡張人工内耳音階に基づく編曲を作成した。約8割の曲が拡張人工内耳音階に移調できた。浜松医大にて7名の被験者の協力を得て、編曲を完了した曲の聴取評価を行った。その結果、変換により、延べ聴取実験曲数114曲中57曲が原曲に比べて評価が上がった。原曲よりも拡張人工内耳音階曲にした方が人工内耳装用者にとって音楽らしく聴こえる人が半分いる。曲による違い、個人差が大きいが、たとえ評価が良くなった方が少数であっても、その方のQOLにとっては良いことであり、意義あると考える。共同研究先の信州大学および浜医大および本学の倫理委員会で承認を得た。

Before the annual か ら の research の 継 続 し て, drew し た MIDI の sound such as joy intelligence か ら の melody を, section ま た は フ レ ー ズ な ど の 単 で し segmentation, prescribed そ の each segmentation melody に つ い と て scale interval を parsing し て, series に and ぶ scales の scale column と interval の interval column と か ら な る scales セ ッ ト を o め る. O め た scales セ ッ ト の interval column を slightly maintain し つ つ, artificial ear scales に ま れ る different な る scales を contains numerous く む よ う に, scales セ ッ ト を transposing す る. The セットとする is shifted to the た scale セットを拡 and the zhang scale セットとする. こ の occasions, artificial ear scales を む scales セ ッ ト を plural explore し, artificial ear scales に ま れ る different な る scales を contains more than the most も く む transposing し た scales セ ッ ト を company, zhang scales セ ッ ト と す る. Youdaoplaceholder0 た と と また, scale を high-key wave び low-key wave に expansion <s:1> た scale ップを ップを use また る. そ し て, め た company, zhang scales セ ッ ト の scale column を, to め め た sounds 帯 domain contains に ま れ る scales に 応 seaborne す る よ う に variations in し て, output す る. こ れ ま で, artificial ear scales へ の cut pay に よ る slanting の た め, original song と は different な り, tone deaf 気 flavour に な り, ま た, キ ー が high す ぎ て singing に optimum さ な い problem point が あ っ た が, this year's は, company, artificial ear scales と す る こ と に よ っ て, kin 聴 お よ び artificial inner pack wielder に と っ て acosmia feeling の な い メ ロ デ ィ を provide で き Youdaoplaceholder0. A total of 130 Japanese nursery rhymes were arranged by を in opposition to と と and 拡, based on the artificial inner ear scale of に and づく. The arrangement was を and the composition was た. About 8 pieces of the a cove が拡 zhang artificial inner ear scale に transpose で た た. Seven <s:1> subjects にて from Hamamatsu Medical University worked together を to て, arranged を, completed the <s:1> た song, 聴 gave comments and 価を performed った. The results of そ, the variations of によ によ, and the extensions of べ聴 are taken as 57 out of 114 pieces in the experiment. The ratio of the が original pieces に to べて is evaluated as 価が being higher than がった. The original song よ り も company, artificial ear scales qu zhang に し た party が artificial inner pack wielder に と っ て sound joy ら し く 聴 こ え る people が half い る. Song に よ る) い, great individual difference が き い が, た と え review 価 が good く な っ た party が minority で あ っ て も, そ の party の QOL に と っ て は good い こ と で あ り, meaning あ る と exam え る. Joint research first を Shinshu university および Hamma Medical University および this university で ethics committee で recognizes を た.

项目成果

MUSIC INFORMATION PROCESSING FOR COCHLEAR IMPLANT PATIENTS

人工耳蜗患者的音乐信息处理

• 发表时间: 2009
• 作者: S.Kitazawa;他4名
• 通讯作者: 他4名

人工内耳のための日本童謡

人工耳蜗的日本童谣

• 发表时间: 2011
• 期刊: 2011年日本音響学会春季研究発表会講演論文集
• 作者: 北澤茂良;他4名
• 通讯作者: 他4名

人工内耳のための音楽作成について

关于为人工耳蜗创作音乐

• 发表时间: 2010
• 期刊: 2010年日本音響学会秋季研究発表会講演論文集
• 作者: 北澤茂良;他4名
• 通讯作者: 他4名

音楽情報処理装置、方法

音乐信息处理装置及方法

• 发表时间: 2010

Method of Speech Conversion in a Cochlear Implant

人工耳蜗中的语音转换方法

• 发表时间: 2009