言語の汎用特徴表現獲得の機序の解明

本研究では、近年の自然言語処理分野の核とも言える「言語の多種多様な情報が埋め込まれた汎用的な特徴表現」の生成過程を網羅的に分析し、成功要因および改善点を明らかにする。汎用特徴表現の生成には、同じ構造の「層」を積み重ねて構成されたネットワークが用いられており、1 年目にあたる本年度はまず「層の分析」に着手した。既存の分析方法は一部のモジュールだけに着目し、それ以外のモジュールを無視するという欠点を抱えていた。そこで、層を構成する全てのモジュールの作用を考慮した網羅的な分析方法を確立した。具体的には、層で行われる複雑な処理を式変形や勾配計算に基づく解析を通して「変換されたベクトルの和」として表し、各ベクトルのノルムを測ることで「層の各入力がある出力へどれほど寄与したか」を定量化するものである。この方法を用いて現行の汎用特徴表現の生成過程を分析し、層における各モジュールの振る舞いやモジュール同士の相互作用を観察した。結果として、これまで無視されてきたモジュールは固有表現を構成する単語同士の接続を深めるなど、人間の言語的な直感と一致する操作をしていたことを明らかにした。さらに、特定のモジュール同士は打ち消し合う傾向にあり、ネットワークが冗長であることが示唆された。これらの知見は、本研究の目的でもある「汎用特徴表現の改善点および成功要因の解明」への重要な手がかりと言える。この研究成果は、自然言語処理分野の国内シンポジウムにて奨励賞を受賞した。

本研究では、近年の自然言語処理分野の核とも言える「言語の多種多様な情報が埋め込まれた汎用的な特徴表現」の生成過程を網羅的に分析し、成功要因および改善点を明らかにする。汎用特徴表現の生成には、同じ構造の「層」を積み重ねて構成されたネットワークが用いられており、1 年目にあたる本年度はまず「層の分析」に着手した。既存の分析方法は一部のモジュールだけに着目し、それ以外のモジュールを無視するという欠点を抱えていた。そこで、層を構成する全てのモジュールの作用を考慮した網羅的な分析方法を確立した。具体的には、層で行われる複雑な処理を式変形や勾配計算に基づく解析を通して「変換されたベクトルの和」として表し、各ベクトルのノルムを測ることで「層の各入力がある出力へどれほど寄与したか」を定量化するものである。この方法を用いて現行の汎用特徴表現の生成過程を分析し、層における各モジュールの振る舞いやモジュール同士の相互作用を観察した。結果として、これまで無視されてきたモジュールは固有表現を構成する単語同士の接続を深めるなど、人間の言語的な直感と一致する操作をしていたことを明らかにした。さらに、特定のモジュール同士は打ち消し合う傾向にあり、ネットワークが冗長であることが示唆された。これらの知見は、本研究の目的でもある「汎用特徴表現の改善点および成功要因の解明」への重要な手がかりと言える。この研究成果は、自然言語処理分野の国内シンポジウムにて奨励賞を受賞した。