単語ID最適化によるダブル配列言語モデルのサイズ縮小手法の開発

使用单词 ID 优化开发双数组语言模型的尺寸缩减方法

基本信息

批准号：
22K12162
负责人：
山本幹雄
金额：
$ 2.66万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12162/
关键词：
ngram言語モデルトライ木 remapping 線形配置問題トライハイパーグラフ

项目摘要

ダブル配列言語モデルはダブル配列を用いたコンパクトなngram言語モデルの実装であり、高速な検索を実現できる点を特徴としている。しかし、非常に大きなテキストデータから学習する場合、モデルサイズ・構築速度が悪化する。本研究では、ダブル配列のモデルサイズ縮小の問題が単語ID付与（トライ遷移行列での列並び）に大きく依存している事実に基づき、ngram言語モデルのサイズ・構築時間を縮小させる単語ID付与手法を開発することを大きな目的としている。初年度はいくつかの提案予定の手法のうち、単語IDをngramのレベルによって変化させるRemappingと呼ばれる手法をダブル配列に適用することを提案し、サイズ・構築速度の効率を改善できることを示した。Remappingはngram単語列をトライ木で表現した場合の各ノードから子ノードへ分岐する単語ID番号を付け替えて、子ノード集合への分岐のIDの幅（分岐する可能性のある単語ID番号の範囲）を小さくする手法である。トライ木中の単語IDを直前の単語(トライ木の1つ上のノード)に依存したIDに付け替える。直前の単語により単語の種類が限定されるため、単語ID番号を小さな範囲に限定できる。このRemappingの手法はこれまで文字列圧縮の効率化に使われてきた手法であるが、我々はこの手法をダブル配列の効率化に利用することを提案した。ngramの種類数が数億から10億程度のある程度の規模のデータを用いて、Remappingの効果を評価した。その結果、Remappingしない場合に比べて確実にサイズが縮小しており、最大で30%程度のサイズ削減効果を確認できた。また、ngramの種類数が多くなるほどサイズ削減効果が高まっており、スケール効果が期待できる。加えて、構築速度もわずかであるが早くなっていることが確認できた。

Double Array语言模型是使用Double Arrays对Ngram语言模型的紧凑实现，其特点是它可以实现高速搜索。但是，当从非常大的文本数据中学习时，模型的大小和构造速度会恶化。基于以下事实：减小双阵列的模型大小的问题在很大程度上取决于单词ID授予（试验过渡序列中的序列序列），本研究旨在开发一种单词ID授予方法，以减少Ngram语言模型的大小和构建时间。在第一年，在提出的几种方法中，我们提议应用一种称为重新映射的技术，该技术根据Ngram的级别更改单词ID，以双向阵列，表明可以提高尺寸和构造速度的效率。重新映射是一种降低分支ID宽度的技术（当ngram word字符串在试验树中表达时可能分支到子节点的单词ID范围，通过替换每个节点到子节点分支的单词ID数字来表达，从而将分支ID的宽度降低到iD rand iD range in the Word ID的范围（替换为reption never n of the rawter n offers n offers n of子范围）。（三个上方的节点）。单词的类型受到了最后的范围，因此，该单词的范围可以限制为较小的范围。进行重新映射，我们能够看到尺寸降低效果高达30％。此外，越多的ngram类型，尺寸减小效果的有效性越有效，并且可以预期缩放效果。此外，确认构建速度也略高。