単語分散表現の頻度エンコード問題の解消

点击翻译按钮获取中文摘要

ChatGPTなど自然言語文の自動生成技術が盛んに研究されており，自然言語処理の技術に社会的な注目が集まっている．自然言語の基本単位となる単語の意味を捉えることは，自然言語処理の多くのタスクにおいて重要である．単語分表現は，文書などに登場する単語を単語ベクトルとして表現し，その後の翻訳や文書生成に使用される基本技術となっている．単語ベクトルを生成するためにい くつかの方法が開発されており、その代表的なものはword2vec（Mikolov et al.、2013）であり，広く活用されている.word2vecは、単語の意味に関する「分布 仮説」（Harris、1954）に基づいている.つまり、単語の意味はコンテキストによって決定されるという仮説の上で成り立っている．否定語を推定することにおいても，似たような機能語をコンテキストとして共有するため，推定できるように思われる.本年度は，単語に共起する出現頻度をもとに求められるPMI（PointーWise Mutual Information）とニューラルネットワークを用いて得られた単語ベクトル（word2vec）の頻度による影響を調べた．具体的には，計算機実験によりコーパスから単語を抽出し，word2vec と PMI（PointーWise Mutual Information）のコーパスにおける登場頻度と単語間の類似度の比較を行い，頻度の影響の違いについて調べた．