単語ID最適化によるダブル配列言語モデルのサイズ縮小手法の開発

使用单词 ID 优化开发双数组语言模型的尺寸缩减方法

• 批准号: 22K12162
• 负责人: 山本 幹雄
• 金额: $ 2.66万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12162/
• 关键词: ngram言語モデル; トライ木; remapping; 線形配置問題; トライ; ハイパーグラフ

ダブル配列言語モデルはダブル配列を用いたコンパクトなngram言語モデルの実装であり、高速な検索を実現できる点を特徴としている。しかし、非常に大きなテキストデータから学習する場合、モデルサイズ・構築速度が悪化する。本研究では、ダブル配列のモデルサイズ縮小の問題が単語ID付与（トライ遷移行列での列並び）に大きく依存している事実に基づき、ngram言語モデルのサイズ・構築時間を縮小させる単語ID付与手法を開発することを大きな目的としている。初年度はいくつかの提案予定の手法のうち、単語IDをngramのレベルによって変化させるRemappingと呼ばれる手法をダブル配列に適用することを提案し、サイズ・構築速度の効率を改善できることを示した。Remappingはngram単語列をトライ木で表現した場合の各ノードから子ノードへ分岐する単語ID番号を付け替えて、子ノード集合への分岐のIDの幅（分岐する可能性のある単語ID番号の範囲）を小さくする手法である。トライ木中の単語IDを直前の単語(トライ木の1つ上のノード)に依存したIDに付け替える。直前の単語により単語の種類が限定されるため、単語ID番号を小さな範囲に限定できる。このRemappingの手法はこれまで文字列圧縮の効率化に使われてきた手法であるが、我々はこの手法をダブル配列の効率化に利用することを提案した。ngramの種類数が数億から10億程度のある程度の規模のデータを用いて、Remappingの効果を評価した。その結果、Remappingしない場合に比べて確実にサイズが縮小しており、最大で30%程度のサイズ削減効果を確認できた。また、ngramの種類数が多くなるほどサイズ削減効果が高まっており、スケール効果が期待できる。加えて、構築速度もわずかであるが早くなっていることが確認できた。

The language of the language of For example, in the case of a large number of cases, the construction speed of a large number of cases is reduced. In this study, the problem of reducing the number of words assigned to a group of words is that the number of words assigned to a group of words depends on the number of words assigned to a group of words. In the beginning of the year, the proposal for a predetermined method, the language ID, the change of the name, the method of the call, the application of the proposal, the improvement of the construction speed, the construction speed, the improvement of the construction speed, the construction speed, the improvement of the construction speed, the construction speed, the construction speed. Remapping is a method for identifying the range of unit ID numbers in the ngram unit column and for identifying the range of unit ID numbers in the sub-set. A single language ID in a single language (a single language ID in a single language ID The type of language is limited, and the ID number is limited. The method of text compression and efficiency is proposed The number of ngram types ranges from hundreds of millions to 1 billion, and the scale of the application and Remapping is evaluated. The results, Remapping, etc. are confirmed by the reduction of the maximum of 30%. The number of types of ngram is too high to be expected. Add, build speed

项目成果

単語IDのremappingによるダブル配列言語モデルの効率化

通过重新映射单词ID来提高双数组语言模型的效率

• 发表时间: 2023
• 作者: 幡鉾勇哉，山本幹雄