ゼロ・少音声言語資源の音声処理技術の構築

点击翻译按钮获取中文摘要

英語や日本語のように音声データやその書き起こしデータ（音声言語資源）が豊富な言語に対して研究が盛んに行われてきた。一方、マサイ語や方言音声のような音声データが少ない（少資源）あるいは音声データが殆どない（ゼロ資源）音声に対して、音声認識システムを構築することはできない。しかし、そのような言語に対して検索等の音声処理ができれば、理解への手助けなど、新しい展開が可能になる。そこで本研究課題では、少資源音声/ゼロ資源音声に対する検索技術および情報処理技術の構築を目指すものである。本研究課題を実現する上では、方言音声やゼロ資源言語に対して検索技術が有効な技術と位置付け、高精度・高速・低容量での音声検索技術の研究開発を推進している。令和４年度はこの技術を遠野方言に応用するため、新しい音声の検索方式として、最新の深層学習手法を導入し、音声中の音声検索語検出における平均事後確率ベクトル圧縮方式および、フレーム圧縮手法および複数の深層学習モデルのスコア統合方式、音声データの最尤および上位の状態系列の利用による検索精度向上方式を実装した。遠野の語り部の方言音声を分析すると、標準語日本語音声と比べ音声言語体系が異なるため単語単位での音声認識システムを用いることができず、キーワードの音素／音節列と、遠野音声の音素／音節列を照合する方式を研究開発した。遠野方言音声を用いた適応学習なしに、任意のキーワードの検索を実現することができることを確認した。またキーワードをそのまま音声（方言音声）で与え、音声同士を比較・検索する方式についても研究開発し、一旦深層学習モデルを通し、フレームレベル（1/100秒毎）の不特定特徴量で照合する方式を研究開発し、その有効性を検証した。さらに、これらの技術を応用し、これまで収録した遠野方言音声を利用し、方言音声理解支援のための新たな音声処理システムの設計を進めた．