Topic models bridging between documents as members composing a corpus and documents as sequences composed by words

点击翻译按钮获取中文摘要

本研究の目的は、コーパスに特殊的な文書エンコーダとしてのトピックモデルに、汎用性のある分散表現を与える文書エンコーダとしての言語モデルを組み合わせ、トピックモデルによるトピック抽出の質を向上させることであった。初年度は、トピックモデルの変分推論に、多層パーセプトロン(MLP)を用いた簡易的な単語埋め込みを組み合わせて変分推論を実現、定量評価するところまで達成した。しかし、この手法には大きな問題のあることが判明した。提案手法は、変分オートエンコーダの枠組みを採用しなくても、通常のトピックモデルの変分下界をMLPによってreparameterizeすることで、同等の質のトピック抽出を可能にする手法として、提案された。しかし、提案手法では、トピックモデルの変分推論における変分E stepの更新式を2回実行する計算を、計算グラフ構成の際に実行していた。実は、この2回のE stepがトピック抽出の質を向上させていると、事後的な調査により分かった。つまり、reparameterizationの効果は、良い初期値を探す程度の効果にとどまっていた。そこで、「コーパスの構成要素としての文書と単語列としての文書を架橋するトピックモデル」という元々の研究テーマに戻り、コーパス内での各文書の位置付けを明らかにする目的でトークン列としての文書の埋め込みを利用する、という観点から、課題を探し直した。そして見つけた課題が、エッセイの自動採点(AES)である。これは、学生と議論する中で学生から提案された課題である。エッセイの採点は、エッセイからなるコーパス内で個々のエッセイの位置付けを確定させることでもある。この課題に取り組んだ結果、Sentence BERTによるエッセイ埋め込みをうまく利用すれば、どんな出題がなされるか事前に分からない設定でも、採点をある程度自動化できそうであることが分かった。