琉球古典音楽と工学を融合する技能伝承支援基盤の構築：人とAIの調和を目指して

构建将琉球古典音乐与工程学相结合的技能转移支持基础设施：旨在实现人与人工智能之间的和谐

• 批准号: 20K19943
• 负责人: 宮城 桂
• 金额: $ 2.66万
• 依托单位: Okinawa National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K19943/
• 关键词: 歌三線; 歌唱技能; 歌唱フォルマント; 可視化; 機械学習; フォルマント; シンガーズフォルマント; 深層学習

今年度は、歌唱フォルマントの時間的な振舞いに着目し、熟練者に共通する音響特徴について分析を行った。その結果、熟練者は歌唱フォルマントという特定の周波数帯域（2400-4300Hz）を強調して歌うだけでなく、その帯域に複数のパワースペクトルを集中させる事でシンガーズ・フォルマント・クラスタを形成することが明らかとなった。加えて、そのシンガーズ・フォルマント・クラスタは、熟練者ほど歌唱時の音高や母音、子音の時間的変化によらず、パワーと周波数が安定して生起する傾向にある事が観測された。これは熟練者・経験者・初心者で声区の技術に差があることを示唆するものである。次に、歌唱における音色の時間的変化を要素とする音色旋律に着目し、機械学習を用いて音響特徴を評価した。その結果、熟練者の歌唱には倍音成分が多く含まれ、音色のパターンも経験者や初心者と比べて多様であることが明らかとなった。すなわち、これらの熟練者に共通する音色特徴は歌唱における習熟度と相関があると思われる。これらの知見に基づき、歌い手の習熟度に応じて分類することが可能になった他、従来の音高の時間変化による歌唱評価手法と比較して、人間の音楽的感性に基づいた歌唱の巧拙を判定することができると考えている。さらに、多次元のベクトルとして表出する音色を2次元に圧縮することで、音色旋律の時間的な振舞いを可視化する手法を提案した。歌三線の学習者は、可視化された音色の振舞いを真似る事で歌唱訓練を行うことができる。なお、これらの成果を知財として特許を申請中である。

Our は, singing フ ォ ル マ ン ト の な vibration time dance い に with mesh し, skilled に common す る acoustics, 徴 に つ い を line っ て analysis た. そ の results, skilled は singing フ ォ ル マ ン ト と い う の cycle for specific 帯 domain (2400-4300 hz) を emphasize し て song う だ け で な く, そ の 帯 domain に plural の パ ワ ー ス ペ ク ト ル を concentrated さ せ る matter で シ ン ガ ー ズ · フ ォ ル マ ン ト · ク ラ ス タ を form す る こ と が Ming ら か と な っ た. Add え て, そ の シ ン ガ ー ズ · フ ォ ル マ ン ト · ク ラ ス タ は, skilled ほ ど sing の pitch や vowels and consonants の time variations of に よ ら ず, パ ワ ー と cycle for が settle し て arise す る tendency に あ る matter が 観 measuring さ れ た. <s:1> れ skilled · experienced · beginner で vocal range <s:1> technique に poor がある とを とを suggesting する とを である である である. Time に, singing に お け る timbre の time variations of を elements と す る tone melody in に し, mechanical learning を with い て acoustics, 徴 を review 価 し た. Sing そ の results, skilled の に は overtone components が く more contain ま れ, timbre の パ タ ー ン も 経 験 person や beginner's mind is と than べ て many others in で あ る こ と が Ming ら か と な っ た. Youdaoplaceholder0, れら れら, れら proficient に common する timbre characteristics があると singing における proficiency と related があると thinking われる.​ さ ら に, multidimensional の ベ ク ト ル と し て table out す る timbre を 2 dimensional に 圧 shrinkage す る こ と で vibration, tone melody の time な dance い を visualization す る technique proposed を し た. For the third line of songs, <s:1> learners る, visualized された timbre, <s:1> vibration dance を を, it is truly like る doing で singing training を, う う とがで る る. Youdaoplaceholder0, を れら, <s:1> achievement を intellectual property と, て て, patent application を in progress である.

项目成果

高位合成を用いた多層パーセプトロンの並列化手法に関する検討

基于高层次综合的多层感知器并行化方法研究

• 发表时间: 2021
• 作者: Hatsune Ochiai;Takafumi Tanaka;田原花蓮， 植村あい子， 北原鉄朗;佃洸摂，濱崎雅弘，後藤真孝;高良雄太郎
• 通讯作者: 高良雄太郎

琉球古典音楽『歌三線』における歌唱法の音響的特徴

琉球古典音乐《歌三线》唱法的声学特征

• 发表时间: 2020
• 作者: 我如古永士;宮城桂;山田親稔;市川周一
• 通讯作者: 市川周一

歌唱音声評価装置

歌声评价装置

• 发表时间: 2022

雑音処理技術を用いた水中音声の統計的声質変換

利用噪声处理技术进行水下语音的统计音质转换

• 发表时间: 2020
• 作者: 宮里龍太;山田親稔;宮城桂;與那嶺尚弘;市川周一
• 通讯作者: 市川周一

オートエンコーダを用いた歌唱技能の可視化手法に関する検討

基于自编码器的歌唱技巧可视化方法研究

• 发表时间: 2021
• 作者: Chen Li;Lu Min;Goda Yoshiko;Shimada Atsushi;Yamada Masanori;久高萌永
• 通讯作者: 久高萌永