Development of technology for producing and editing cinema audio descriptions facilitating novel audio expression in cinema

本年度は，視覚障害者，映画製作者，映画音声ガイド制作者への調査と評価を通じて，研究目的である，「クリエイティブな音声ガイド制作と自動音声ガイド開発の間に繋がりを生み出す」ための具体的な方策を検討した．まず，「音声ガイドの表記ゆれ検出」，「音声ガイドの声質調整」の2点の可能性を議論した．検討の際には，従来のナレーター（肉声）による音声ガイドの制作方法を基準としつつ，音声ガイドへの適用の期待が高い合成音声の特性を重視した．これにより，合成音声を用いた音声ガイド制作の効率化と質の向上を，ユーザーと制作者のすれ違いを起こさずに効果的に取り組める課題を抽出できる．「表記ゆれ検出」については，最初に，プロの音声ガイド制作者によって既存の映画音声ガイド台本に10個程度の表記ゆれを作成し，その台本に対して日本語概念辞書のWordNetや類義語辞書のWeblio，および，自然言語処理モデルBERTを用いて表記ゆれの検出を試みた．結果は，「少女」と「女の子」などの単語レベルでの表記ゆれだけでなく，「畑の横の土の道」と「畑の横の道」など文脈を考慮した表記ゆれ箇所の検出もできたが，分析時間や結果の表示方法などについて課題は多かった．しかし，試作した表記ゆれ検出アプリを用いた音声ガイド制作者へのヒヤリングでは，視覚障害者が混乱を生じやすい音声ガイド文の表記ゆれだけでなく，繰り返し表現や制作者のクセなど，質の高い音声ガイドを制作する上で重要なチェック要素を検出するために活用できる可能性があるとの意見を得た．「声質調整」については，ナレーターの声質は音声ガイドにとって重要である一方で，本研究でターゲットとしている合成の音声ガイドに対しては，人間と同様な声質を必ずしも求めないことが視覚障害者を対象とした調査から確認できた．合成音声で改善すべきは「違和感」であり「自然さ」ではないという重要な視点を得られた．

本年度は，視覚障害者，映画製作者，映画音声ガイド制作者への調査と評価を通じて，研究目的である，「クリエイティブな音声ガイド制作と自動音声ガイド開発の間に繋がりを生み出す」ための具体的な方策を検討した．まず，「音声ガイドの表記ゆれ検出」，「音声ガイドの声質調整」の2点の可能性を議論した．検討の際には，従来のナレーター（肉声）による音声ガイドの制作方法を基準としつつ，音声ガイドへの適用の期待が高い合成音声の特性を重視した．これにより，合成音声を用いた音声ガイド制作の効率化と質の向上を，ユーザーと制作者のすれ違いを起こさずに効果的に取り組める課題を抽出できる．「表記ゆれ検出」については，最初に，プロの音声ガイド制作者によって既存の映画音声ガイド台本に10個程度の表記ゆれを作成し，その台本に対して日本語概念辞書のWordNetや類義語辞書のWeblio，および，自然言語処理モデルBERTを用いて表記ゆれの検出を試みた．結果は，「少女」と「女の子」などの単語レベルでの表記ゆれだけでなく，「畑の横の土の道」と「畑の横の道」など文脈を考慮した表記ゆれ箇所の検出もできたが，分析時間や結果の表示方法などについて課題は多かった．しかし，試作した表記ゆれ検出アプリを用いた音声ガイド制作者へのヒヤリングでは，視覚障害者が混乱を生じやすい音声ガイド文の表記ゆれだけでなく，繰り返し表現や制作者のクセなど，質の高い音声ガイドを制作する上で重要なチェック要素を検出するために活用できる可能性があるとの意見を得た．「声質調整」については，ナレーターの声質は音声ガイドにとって重要である一方で，本研究でターゲットとしている合成の音声ガイドに対しては，人間と同様な声質を必ずしも求めないことが視覚障害者を対象とした調査から確認できた．合成音声で改善すべきは「違和感」であり「自然さ」ではないという重要な視点を得られた．