テーマ型対話における対話マネジメントの方法論解明およびマネジメントシステムの構築

点击翻译按钮获取中文摘要

R4年度では、これまでの業績と残された研究期間を考慮し、「機械翻訳の実応用利用」を主軸に研究を進めることとした。具体的には、昨年度から始めた、2文間の意味的類似度を予測するSemantic Textual Similarity（STS）ベンチマークタスクのデータセットによる評価分析を進めた。我々はSTSでの評価とその応用タスク（”機械翻訳”評価タスク等）での評価結果間の相違を示し、STS上の評価でモデルの性能を競い合っている現状に対し警鐘を鳴らした。この評価の相違を引き起こす要因を検証し、データドメイン（新聞記事・質問応答文等）の違い・タスク設計（与えられる2文間の類似度の前提）の違い・タスクにおける類似度定義（時制・固有名詞など何の違いを重要視するか）の違いが評価の相違を引き起こすことを突き止めた。本研究の結果は、自然言語処理における評価に着目したワークショップEval4NLPに採択された。また、昨年同様、機械翻訳の実応用時の課題の一つである、与えられた用語リストに従って翻訳する制約付き翻訳シェアードタスクの運営を務めた。前年度に人手で構築した日英データに加え、本年度ではデータセット構築の効率化を目指し、既存の用語抽出ツールを用いて日中データを半自動で作成した。また、シェアードタスクにおいて提出されたシステム出力に対する自動・人手評価結果の分析を行い、①本年度で提出された学習データの工夫と自動後編集手法を組み合わせた手法が、用語を強制出力させる代わり処理速度が遅い既存の最高性能手法に対し処理速度を改善しつつ匹敵する性能を持つこと、および②正誤判定が難しい専門用語の影響により、タスクの評価における判断が妥当でない例が含まれており、より頑健な評価を追求する必要があることを突き止めた。本研究の結果は、アジア圏機械翻訳ワークショップWATおよび博士論文に記載されている。