言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成

考虑语言信息和音乐信息之间相互关系的结构分析和歌词生成

• 批准号: 16J05945
• 负责人: 渡邉 研斗
• 金额: $ 0.83万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2016
• 资助国家: 日本
• 起止时间: 2016-04-22 至 2018-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J05945/
• 关键词: 歌詞の意味解析; 歌詞の自動生成; 深層学習; 歌詞とメロディの大規模データ; データ分析; 作詞支援インタフェース; 歌詞の構造解析

今年度は、(a)歌詞のテーマ・ストーリー展開に関する研究と、(b)メロディに対して歌いやすい歌詞の自動生成に関する研究をし、その成果を論文誌、学会にて発表した。(a)歌詞のテーマ・ストーリー展開に関する研究は、国際論文誌IEICE Transactions on Information and Systemsに採録された。本研究では、「愛」や「希望」などの楽曲全体のテーマが、談話構造内の潜在的なトピックの遷移(ストーリー展開)に作用することを定性的・定量的に確かめた。テーマとトピック遷移を同時に考慮したベイジアンモデルを構築し、1万曲以上の歌詞から教師なし学習を行った。歌詞特有の談話構造に基づいた潜在的な意味構造のモデリングをした研究はなく、本成果は歌詞や音楽に関する研究全体に対しての新たな貢献である。(b)メロディに対して歌いやすい歌詞の自動生成に関する研究は、国際会議The 16-th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologiesに再録された。本研究では、歌詞とメロディのペアデータを作成し、テキスト解析により得られる言語情報と、音楽音響信号解析により得られる音楽情報の関係性を分析し、その法則性を明らかにした。また、入力メロディに対して歌いやすく、かつ文として流暢な歌詞を生成する確率的言語モデルを提案した。楽曲の言語的特徴と音楽的特徴の関係性を、大規模データから統計的に分析した研究は少なく、歌詞や楽曲に関する研究全体に対して新たな貢献をした。

This year,(a) lyrics related research,(b) lyrics related to automatic generation, the results of the paper, learn to express (a)IEICE Transactions on Information and Systems This study is a qualitative and quantitative study of the potential role of "love" and "hope" in the overall conversation structure. At the same time, consider the construction of more than 10,000 songs The research on the potential meaning structure of lyrics 'unique speech structure is a new contribution to the research on lyrics' sound structure. (b)The 16-th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. This study is aimed at analyzing the relationship between the speech information and the acoustic signal, and analyzing the regularity of the speech information and the acoustic signal The lyrics are written in a fluent and accurate manner. The relationship between the characteristics of the song and the characteristics of the song, the analysis of the large-scale song, and the research of the song

项目成果

A Melody-conditioned Lyrics Language Model

旋律条件歌词语言模型

• 发表时间: 2018
• 作者: Kento Watanabe;Yuichiroh Matsubayashi;Satoru Fukayama;Masataka Goto;Kentaro Inui and Tomoyasu Nakano
• 通讯作者: Kentaro Inui and Tomoyasu Nakano

Modeling Storylines in Lyrics

在歌词中塑造故事情节

• DOI: 10.1587/transinf.2017edp7188
• 发表时间: 2018
• 期刊: IEICE Transactions on Information and Systems
• 影响因子: 0.7
• 作者: Kento WATANABE;Yuichiroh MATSUBAYASHI;Kentaro INUI;Satoru FUKAYAMA;Tomoyasu NAKANO;Masataka GOTO
• 通讯作者: Masataka GOTO

ストーリー展開と一貫性を同時に考慮した歌詞生成モデル

同时考虑故事发展和一致性的歌词生成模型

• 发表时间: 2016
• 作者: 渡邉研斗;松林優一郎;乾健太郎;中野倫靖;深山覚;後藤真孝
• 通讯作者: 後藤真孝

メロディ条件付き歌詞言語モデル

旋律条件歌词语言模型

• 发表时间: 2018
• 作者: 渡邉研斗;松林優一郎;深山覚;乾健太郎;後藤真孝;中野倫靖
• 通讯作者: 中野倫靖

Modeling Discourse Segments in Lyrics Using Repeated Patterns

使用重复模式对歌词中的话语片段进行建模

• 发表时间: 2016
• 作者: 渡邉研斗;松林優一郎;折田奈甫;岡崎直観;乾健太郎;深山覚;中野倫靖;Jordan B. L. Smit;後藤真孝
• 通讯作者: 後藤真孝