データベース照合に基づくテキスト・エンティティの同定に関する研究

本研究では、テキスト中に出現する特定の「エンティティ」(実世界の実在物)に関する記述を、データベース上で一元的に管理されている「レコード」に対応づけるためのエンティティ同定処理技術を研究した。特に大規模なエンティティ同定問題に特徴的な検討課題として、(i)同定候補の高速な数え上げ手法の提案、(ii)機械学習の効果的な適用、の2点に焦点をあてて検討を行った。ここで、(i)は、何千万という候補に対して1つ1つ同定のための比較関数を適用することは不可能であることから、(ii)は、言語や領域に固有の知識の実装コストを低減し同定システムの汎用性を高めるために、エンティティ同定には必須の要素技術である。これに基づき本研究においては、(i)サフィックスアレイと呼ばれるデータ構造を利用した高速数え上げ処理手法と、(ii)(i)の結果に機械学習を適用することによる同定ルールの自動獲得法および分野に特化した辞書の自動生成手法を提案した。また、論文データベースおよび図書目録を対象として、実際に数百〜数千万レコード規模のデータベースに提案手法を適用して、異なるデータベース間の統合や引用と書誌データベースの同定問題等における有効性を実証的に示した。当該分野における従来技術は主に、情報検索や機械学習の分野における既存アプローチの応用事例的な色彩が強い。これに対して本研究は、レコードやエンティティの同定問題を、「テキストを現実世界のモノに対応づけるための基盤的な技術」と捉えた点が特徴的であり、今後は適用範囲を広げ、汎用的なテキストのリンケージ技術として発展させたい。

本研究では、テキスト中に出現する特定の「エンティティ」(実世界の実在物)に関する記述を、データベース上で一元的に管理されている「レコード」に対応づけるためのエンティティ同定処理技術を研究した。特に大規模なエンティティ同定問題に特徴的な検討課題として、(i)同定候補の高速な数え上げ手法の提案、(ii)機械学習の効果的な適用、の2点に焦点をあてて検討を行った。ここで、(i)は、何千万という候補に対して1つ1つ同定のための比較関数を適用することは不可能であることから、(ii)は、言語や領域に固有の知識の実装コストを低減し同定システムの汎用性を高めるために、エンティティ同定には必須の要素技術である。これに基づき本研究においては、(i)サフィックスアレイと呼ばれるデータ構造を利用した高速数え上げ処理手法と、(ii)(i)の結果に機械学習を適用することによる同定ルールの自動獲得法および分野に特化した辞書の自動生成手法を提案した。また、論文データベースおよび図書目録を対象として、実際に数百〜数千万レコード規模のデータベースに提案手法を適用して、異なるデータベース間の統合や引用と書誌データベースの同定問題等における有効性を実証的に示した。当該分野における従来技術は主に、情報検索や機械学習の分野における既存アプローチの応用事例的な色彩が強い。これに対して本研究は、レコードやエンティティの同定問題を、「テキストを現実世界のモノに対応づけるための基盤的な技術」と捉えた点が特徴的であり、今後は適用範囲を広げ、汎用的なテキストのリンケージ技術として発展させたい。