Analysis, Recognition, Manipulation and Generation of Music Signal and Information based on Mathematical Models

基于数学模型的音乐信号和信息的分析、识别、操纵和生成

• 批准号: 20240017
• 负责人: SAGAYAMA Shigeki
• 金额: $ 23.96万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20240017/
• 关键词: 音楽信号解析; 信号加工; 音楽情報処理; 多重音解析; 調波時間クラスタリング; 非負値行列分解; 調波音打楽器音信号分離; 位相復元; 速度変換; ピッチ変換; パート分離; 歌声抽出; 歌声消去; 和声推定; リズム解析; 自動小節分割; 楽曲ジャンル認識; リズム構造推定; Dynamic Bayesian Net音楽モデル; 自動採譜; 作曲家推定; 楽譜自動演奏; 自動対位法; 自動歌唱作曲; 機能和声データベース; 調波音打楽器音分離; 自

An diverse research area has been actively investigated in analysis, recognition, manipulation and generation of music signal and information resulting in numerous excellent results. They include quite a wide range of research achievements such as multipitch estimation method (called HTC) based on a model of multiple concurrent music sounds and another method based on non-negative matrix factorization (NMF), harmonic-percussive sound separation (HPSS), high-quality signal manipulation (e.g., music tempo and pitch modification) based on restoration of phase components from power spectrogram, part separation form stereophonic music recordings, vocal sound extraction and deletion from ensemble music signals based on spectral fluctuation of human voice, chord estimation from music signals, automatic extraction of constituent rhythms (RhythmMap) in music signals and bar-line segmentation, music genre and mood recognition based on the previous method, rhythm estimation in polyphonic music signals and application to automatic music transcription, music modeling and automatic transcription based on dynamic Bayesian network to integrate hierarchical layers from music theory to signal observations, composer identification from score data, automatic music performance rendition using conditional random field, automatic counterpoint with imitation of music motives, automatic song composition based on intrinsic intonation of Japanese lyrics, and building functional harmony database. These achievements have been made public through journal papers, international conferences, review papers, domestic academic presentations, web service for automatic music composition, and public media.

在音乐信号和信息的分析、识别、处理和生成方面，一个不同的研究领域已经得到了积极的研究，并取得了许多优秀的成果。它们包括相当广泛的研究成果，例如基于多个并发音乐声音模型的多音高估计方法（称为HTC）和另一种基于非负矩阵分解（NMF）、谐波-谐波声音分离（HPSS）、高质量信号处理（例如，音乐克里思和音高修改）、立体声音乐记录的部分分离、基于人声的频谱波动从合奏音乐信号中提取和删除人声、从音乐信号中估计和弦、组成节奏的自动提取（RhythmMap）在音乐信号和小节线分割中的应用，基于先前方法的音乐流派和情绪识别，复调音乐信号中的节奏估计和在自动音乐转录中的应用，基于动态贝叶斯网络的音乐建模和自动转录，以集成从音乐理论到信号观察的层次结构，从乐谱数据识别作曲家，使用条件随机场的自动音乐演奏再现，模仿音乐动机的自动对位，基于日语歌词的固有语调的自动歌曲合成，以及建立功能和声数据库。这些成果已通过期刊论文、国际会议、评论论文、国内学术报告、自动作曲网络服务和公共媒体公开。

项目成果

音信号の分離方法

声音信号分离方法

• 发表时间: 2008

スペクトルの時間変化に基づく音楽音響信号からの歌声成分の強調と抑圧

基于频谱时间变化的音乐音频信号中歌声成分的增强和抑制

• 发表时间: 2009
• 作者: 橘秀幸;小野順貴;嵯峨山茂樹
• 通讯作者: 嵯峨山茂樹

調波音/打楽器音分離手法とチューニング補正手法を用いた音楽音響信号からの自動和音認識

使用谐波/打击分离方法和调音校正方法从音乐声信号中自动识别和弦

• 发表时间: 2009
• 作者: 上田雄;小野順貴;嵯峨山茂樹
• 通讯作者: 嵯峨山茂樹

音楽音響信号中の打楽器パターンの自動置換

自动替换音乐声信号中的打击模式

• 发表时间: 2008
• 作者: 細川威樹;金田悠作;有村博紀;角尾衣未留,小野順貴,嵯峨山茂樹
• 通讯作者: 角尾衣未留,小野順貴,嵯峨山茂樹

Rhythm Map : Extraction of Unit Rhythmic Patterns and Analysis of Rhythmic Structure from Music Acoustic Signals

节奏图：从音乐声学信号中提取单位节奏模式并分析节奏结构

• 发表时间: 2009
• 作者: Emiru Tsunoo;Nobutaka Ono;Shigeki Sagayama
• 通讯作者: Shigeki Sagayama