Integrated Ensemble Learning with Embedded Vectors in Authorship Attribution

点击翻译按钮获取中文摘要

本年度は、まず深層学習理論に基づいた埋め込みベクトルの一種であるBERTについて、日本語の大規模データを用いた事前学習済みの数種類（京大BERT、東北大BERT、NICT BERT、朝日BERT、青空文庫BERT、青空文庫＋WikipediaBERTなど）モデルを収集し、実装実験を行った。同時に著者推定タスクにおいて異なる事前学習データに基づいて構築された複数のBERTの性能比較を行うため、必要となるコーパス（青空文庫から10人、それぞれ20篇の小説、青空文庫外の文豪による小説10人それぞれ20篇を電子化）を作成した。続いて、収集した事前学習済みのBERTモデルについて、著者推定タスクのために作成したコーパスを用いて比較分析を行った。その結果、以下のことを明らかにした。（１）事前学習済みのBERTは著者推定タスクに有効であるが、本タスクに適応できないBERTがある。（２）青空文庫内の著者の推定においては青空文庫から構築されたBERTの精度が高い。（３）青空文庫外の著者の推定においては、青空文庫から構築されたBERTの精度は（２）の青空文庫内の結果と比べて低くい。（４）いずれの実験コーパスにおいてWikipedia、日本語ビジネスニュース記事で学習されたBERTより、青空文庫で学習させたBERTの精度が高い。（５）事前学習データが個別タスクを解く際のモデルの性能に影響を与えている。（６）異なるコーパスで学習したBERTをアンサンブル学習することにより精度を向上させることが可能である。