Analysis, Recognition, Manipulation and Generation of Music Signal and Information based on Mathematical Models

基于数学模型的音乐信号和信息的分析、识别、操纵和生成

• 批准号: 20240017
• 负责人: SAGAYAMA Shigeki
• 金额: $ 23.96万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20240017/
• 关键词: 音楽信号解析; 信号加工; 音楽情報処理; 多重音解析; 調波時間クラスタリング; 非負値行列分解; 調波音打楽器音信号分離; 位相復元; 速度変換; ピッチ変換; パート分離; 歌声抽出; 歌声消去; 和声推定; リズム解析; 自動小節分割; 楽曲ジャンル認識; リズム構造推定; Dynamic Bayesian Net音楽モデル; 自動採譜; 作曲家推定; 楽譜自動演奏; 自動対位法; 自動歌唱作曲; 機能和声データベース; 調波音打楽器音分離; 自

An diverse research area has been actively investigated in analysis, recognition, manipulation and generation of music signal and information resulting in numerous excellent results. They include quite a wide range of research achievements such as multipitch estimation method (called HTC) based on a model of multiple concurrent music sounds and another method based on non-negative matrix factorization (NMF), harmonic-percussive sound separation (HPSS), high-quality signal manipulation (e.g., music tempo and pitch modification) based on restoration of phase components from power spectrogram, part separation form stereophonic music recordings, vocal sound extraction and deletion from ensemble music signals based on spectral fluctuation of human voice, chord estimation from music signals, automatic extraction of constituent rhythms (RhythmMap) in music signals and bar-line segmentation, music genre and mood recognition based on the previous method, rhythm estimation in polyphonic music signals and application to automatic music transcription, music modeling and automatic transcription based on dynamic Bayesian network to integrate hierarchical layers from music theory to signal observations, composer identification from score data, automatic music performance rendition using conditional random field, automatic counterpoint with imitation of music motives, automatic song composition based on intrinsic intonation of Japanese lyrics, and building functional harmony database. These achievements have been made public through journal papers, international conferences, review papers, domestic academic presentations, web service for automatic music composition, and public media.

在音乐信号和信息的分析、识别、处理和生成方面，一个不同的研究领域已经得到了积极的研究，并取得了许多优秀的成果。它们包括相当广泛的研究成果，例如基于多个并发音乐声音模型的多音高估计方法（称为HTC）和另一种基于非负矩阵分解（NMF）、谐波-谐波声音分离（HPSS）、高质量信号处理（例如，音乐克里思和音高修改）、立体声音乐记录的部分分离、基于人声的频谱波动从合奏音乐信号中提取和删除人声、从音乐信号中估计和弦、组成节奏的自动提取（RhythmMap）在音乐信号和小节线分割中的应用，基于先前方法的音乐流派和情绪识别，复调音乐信号中的节奏估计和在自动音乐转录中的应用，基于动态贝叶斯网络的音乐建模和自动转录，以集成从音乐理论到信号观察的层次结构，从乐谱数据识别作曲家，使用条件随机场的自动音乐演奏再现，模仿音乐动机的自动对位，基于日语歌词的固有语调的自动歌曲合成，以及建立功能和声数据库。这些成果已通过期刊论文、国际会议、评论论文、国内学术报告、自动音乐合成网络服务和公共媒体公开。

项目成果

理想時間周波数マスキングの分離性能と音源スパース性の関係

理想时频掩蔽分离性能与声源稀疏度的关系

• 发表时间: 2009
• 期刊: 電子情報通信学会論文誌A J92-A No.5
• 作者: 小野順貴;伊藤信貴;和泉洋介;嵯峨山茂樹
• 通讯作者: 嵯峨山茂樹

機能和声ラベルデータの作成と統計解析

功能和谐标签数据的创建和统计分析

• 发表时间: 2010
• 作者: 川上大輔;金子仁美;嵯峨山茂樹
• 通讯作者: 嵯峨山茂樹

和音認識のためのスペクトル特徴量の検討

和弦识别的频谱特征研究

• 发表时间: 2010
• 作者: 上田雄;内山裕貴;小野順貴;嵯峨山茂樹
• 通讯作者: 嵯峨山茂樹

遂次的な調波時間構造化クラスタリングによる多重音ピッチ推定

使用顺序谐波时间结构聚类的多音音调估计

• 发表时间: 2008
• 作者: Tsukamoto;M.;江頭幸路,宮本賢一,小野順貴之嵯峨山茂樹
• 通讯作者: 江頭幸路,宮本賢一,小野順貴之嵯峨山茂樹

Rhythm Map : Extraction of Unit Rhythmic Patterns and Analysis of Rhythmic Structure from Music Acoustic Signals

节奏图：从音乐声学信号中提取单位节奏模式并分析节奏结构

• 发表时间: 2009
• 作者: Emiru Tsunoo;Nobutaka Ono;Shigeki Sagayama
• 通讯作者: Shigeki Sagayama