Development of a Hybrid CG Parser

本研究は、「統語変換」の概念に基づく理論言語学での研究の知見を活かして、自然言語処理研究において開発されたパーザ (具体的にはCCGパーザ) の性能を向上させることを目指すことを目的とするものである。この目的のために、CCGパーザにとって足りない情報を補うための機械学習のコンポーネントが必要となる。今年度は、昨年度作成したこのコンポーネントのための正解ラベルセットのアノテーション・データを用いて、機械学習によって未知のデータに対して正しくラベル付与ができるかを検証した。具体的には、BCCWJから抽出した例文に必要な情報を手でアノテーションしたアノテーション・データを正解セットと評価セットに分割し、固有名認識のモデルと同構成の機械学習モデル (東北大から提供されている日本語BERTモデルをfine-tuningしたもの) を用いて比較文の意味に関わる情報のラベル (比較句、対応する程度述語、比較対象の表現の三者) を予測する実験を行った。結果は言語処理学会の年次大会の論文で報告した。比較的単純な手法で、モデルが未知の文に対して目的とするアノテーション情報を実際に機械学習である程度正確に当てることができることを確認できた。この成果に基づいて、最終年度である来年度は、未知のデータを統語解析し、意味情報ラベルを予測する機械学習モデルの出力と組み合わせて論理式を出力するパイプラインを実際に構築することを目指す。

本研究は、「統語変換」の概念に基づく理論言語学での研究の知見を活かして、自然言語処理研究において開発されたパーザ (具体的にはCCGパーザ) の性能を向上させることを目指すことを目的とするものである。この目的のために、CCGパーザにとって足りない情報を補うための機械学習のコンポーネントが必要となる。今年度は、昨年度作成したこのコンポーネントのための正解ラベルセットのアノテーション・データを用いて、機械学習によって未知のデータに対して正しくラベル付与ができるかを検証した。具体的には、BCCWJから抽出した例文に必要な情報を手でアノテーションしたアノテーション・データを正解セットと評価セットに分割し、固有名認識のモデルと同構成の機械学習モデル (東北大から提供されている日本語BERTモデルをfine-tuningしたもの) を用いて比較文の意味に関わる情報のラベル (比較句、対応する程度述語、比較対象の表現の三者) を予測する実験を行った。結果は言語処理学会の年次大会の論文で報告した。比較的単純な手法で、モデルが未知の文に対して目的とするアノテーション情報を実際に機械学習である程度正確に当てることができることを確認できた。この成果に基づいて、最終年度である来年度は、未知のデータを統語解析し、意味情報ラベルを予測する機械学習モデルの出力と組み合わせて論理式を出力するパイプラインを実際に構築することを目指す。