Research of speech and singing voice synthesis by MIDI accordion

MIDI手风琴语音与歌声合成研究

• 批准号: 23520175
• 负责人: MIWA MASAHIRO
• 金额: $ 3万
• 依托单位: Institute of Advanced Media Arts and Sciences
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2011
• 资助国家: 日本
• 起止时间: 2011 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23520175/
• 关键词: フォルマント合成; 電子音楽; 音素変換標準規格; 人工音声制御; ヒューマンインターフェース; 楽器論; メディアアート; 演奏身体論

This research is for the development of an artificial voice speech system via a real-time "performance" that utilizes a MIDI accordion as an interface, the composition of a new "song" with that system as a prerequisite, and synthetically conducts a philosophical examination of the "ownerless voice" generated in that "song". As a result of that research, we presented the "Brother's Button-to-Phoneme Transfer Standard for International languages (BBPTSI)", a standard for phoneme control that corresponds to multiple languages, and was able to compose "Yume no Waltz", a musical composition that is based on that standard. In addition, using the "Chord Avarave Algorithm", which was developed for microtonal pitch control, we developed a method to transfer from an optional melody line (continuous pitch change) to a musical score for a piano keyboard via a constraint programming technique.

这项研究旨在通过使用MIDI手风琴作为接口的实时“表演”来开发一种人工语音语音系统，并以该系统为前提来创作一首新的“歌曲”，并对该“歌曲”中产生的“无主声音”进行综合的哲学审视。作为这项研究的结果，我们提出了国际语言兄弟按钮到音素转换标准(BBPTSI)，这是一个对应于多种语言的音素控制标准，并能够创作出基于该标准的音乐作品《Yume no Waltz》。此外，利用为微调音高控制开发的“Chord Avarave算法”，我们开发了一种通过约束编程技术从可选的旋律线(连续音调变化)转换为钢琴键盘的乐谱的方法。

项目成果

「MIDIアコーディオンによる合成音声の発話及び歌唱の研究」サイト

“使用 MIDI 手风琴进行合成语音发声和歌唱的研究”网站

研究発表「兄弟式国際ボタン音素変換標準規格」およびシンポジウム

“兄弟式国际按键音素转换标准”研究报告及研讨会

• 发表时间: 2013
• 作者: 三輪眞弘;佐近田展康
• 通讯作者: 佐近田展康

YouTube 「フォルマント兄弟の長くまっすぐな道」（ビデオ解説）

YouTube“共振峰兄弟的漫长直路”（视频评论）

研究発表「兄弟式国際ボタン音素変換標準規格に至る長くまっすぐな道」

研究报告：《通向兄弟式国际按键音素转换标准的漫长而笔直的道路》

• 发表时间: 2013
• 作者: 三輪眞弘;佐近田展康
• 通讯作者: 佐近田展康

YouTube 「兄弟式国際ボタン音素変換標準規格」に基づく『夢のワルツ』（スタジオ版実演）

YouTube《梦幻华尔兹》基于《兄弟国际按键音素转换标准》（工作室版演示）