自動推論プロセスの分析による人にとっての数学問題困難度の予測

既存の数学問題を大量に学習データとして使用するために，数学テキストの言語解析に関する基礎処理について研究を行った．特に，（１）過去の大学入試数学問題テキストを用いて分野適応を行ったニューラル言語モデルを基に高精度なテキスト解析を行う技術，および（２）数学テキスト中の数式のタイプを正確に予測するために，ニューラル言語モデルを用いた統計的予測と型理論に基づく形式的手法を組み合わせる技術の研究開発を進めた．（１）に関しては，ニューラル言語モデルの分野適応のみによって，テキストの構文解析精度が約4ポイント向上することを明らかにした．また，その際の精度向上の大きな要因は，数学問題テキストで頻出する数式を含む並列構造の解析がより正確になることであると示した．また，分野適応の効果は問題テキスト中の数式をニューラル言語モデルへの入力においてどのように表現するかに依存し，数式を表す特殊なトークンで数式全体を置換する方法が最も効果的であることを明らかにした．（２）に関しては，統計的予測と形式的手法を融合した数式タイプ予測のための基盤システムの開発が完了し，高精度化のための改良をおこなっている．さらに，（１）（２）の技術の基礎となるニューラル言語モデルの挙動を理解し，高精度化するための基礎研究として，入力テキスト中のトークン位置の分散表現（位置埋め込み）の性質について分析を行い，トークン位置方向の時系列として見た場合の位置埋め込みには周期性が存在し，ニューラル言語モデルは，この周期性を基にトークン位置に基づく推論を行っていることを明らかにした．

既存の数学問題を大量に学習データとして使用するために，数学テキストの言語解析に関する基礎処理について研究を行った．特に，（１）過去の大学入試数学問題テキストを用いて分野適応を行ったニューラル言語モデルを基に高精度なテキスト解析を行う技術，および（２）数学テキスト中の数式のタイプを正確に予測するために，ニューラル言語モデルを用いた統計的予測と型理論に基づく形式的手法を組み合わせる技術の研究開発を進めた．（１）に関しては，ニューラル言語モデルの分野適応のみによって，テキストの構文解析精度が約4ポイント向上することを明らかにした．また，その際の精度向上の大きな要因は，数学問題テキストで頻出する数式を含む並列構造の解析がより正確になることであると示した．また，分野適応の効果は問題テキスト中の数式をニューラル言語モデルへの入力においてどのように表現するかに依存し，数式を表す特殊なトークンで数式全体を置換する方法が最も効果的であることを明らかにした．（２）に関しては，統計的予測と形式的手法を融合した数式タイプ予測のための基盤システムの開発が完了し，高精度化のための改良をおこなっている．さらに，（１）（２）の技術の基礎となるニューラル言語モデルの挙動を理解し，高精度化するための基礎研究として，入力テキスト中のトークン位置の分散表現（位置埋め込み）の性質について分析を行い，トークン位置方向の時系列として見た場合の位置埋め込みには周期性が存在し，ニューラル言語モデルは，この周期性を基にトークン位置に基づく推論を行っていることを明らかにした．