対話型自然言語の韻律に関する音声と手話の横断的分析

我々が日常用いている音声（聴覚言語）やろう者（聴覚障害者）が用いる手話（視覚言語）は実時間で情報伝達・コミュニケーションを行う対話型自然言語である。これら対話型自然言語における韻律（プロソディ）は実時間での言語理解を助けたり、実時間コミュニケーションを制御するのに用いられると考えらえれる。そこで、これら対話型自然言語における韻律の機能を解明するため、日本語音声と日本手話のそれぞれについて分析を行った。日本語音声については、感情音声データベース(OGVC)の演技音声を平静音声と比較することにより、声の高さ、速さ、音色（スペクトル）の韻律強度を時系列で表現する特徴量を新たに提案し、聴取者の印象評定結果から、その妥当性を示した。また、声の高さに関しては藤崎モデルパラメータを付与するため、基底周波数の自動推定手法の検討を行った。日本手話に関しては、基盤研究(S)「多用途型日本手話言語データベース構築に関する研究」（分担：堀内靖雄，2017-2021）で収録されたデータについて、手の動きの音素に関する解析を行った。直線運動の単語について、手の動きのモーションキャプチャデータの解析を行い、直線運動の手の動きは基本的には上下左右前後の６方向の音素が存在し、それらが概ね離散的に分離できることが明らかとなり、これらの手の動きの変動を韻律の物理的特徴量として利用可能であることが明らかになった。また、日本手話の会話データを分析した結果、手の動きを保持する動作は、手話空間に手形を留め置くという韻律上の表現によって、相互行為上の問題の解決に適切に利用されていることが明らかになった。

我々が日常用いている音声（聴覚言語）やろう者（聴覚障害者）が用いる手話（視覚言語）は実時間で情報伝達・コミュニケーションを行う対話型自然言語である。これら対話型自然言語における韻律（プロソディ）は実時間での言語理解を助けたり、実時間コミュニケーションを制御するのに用いられると考えらえれる。そこで、これら対話型自然言語における韻律の機能を解明するため、日本語音声と日本手話のそれぞれについて分析を行った。日本語音声については、感情音声データベース(OGVC)の演技音声を平静音声と比較することにより、声の高さ、速さ、音色（スペクトル）の韻律強度を時系列で表現する特徴量を新たに提案し、聴取者の印象評定結果から、その妥当性を示した。また、声の高さに関しては藤崎モデルパラメータを付与するため、基底周波数の自動推定手法の検討を行った。日本手話に関しては、基盤研究(S)「多用途型日本手話言語データベース構築に関する研究」（分担：堀内靖雄，2017-2021）で収録されたデータについて、手の動きの音素に関する解析を行った。直線運動の単語について、手の動きのモーションキャプチャデータの解析を行い、直線運動の手の動きは基本的には上下左右前後の６方向の音素が存在し、それらが概ね離散的に分離できることが明らかとなり、これらの手の動きの変動を韻律の物理的特徴量として利用可能であることが明らかになった。また、日本手話の会話データを分析した結果、手の動きを保持する動作は、手話空間に手形を留め置くという韻律上の表現によって、相互行為上の問題の解決に適切に利用されていることが明らかになった。