単語ID最適化によるダブル配列言語モデルのサイズ縮小手法の開発

使用单词 ID 优化开发双数组语言模型的尺寸缩减方法

• 批准号: 22K12162
• 负责人: 山本 幹雄
• 金额: $ 2.66万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12162/
• 关键词: ngram言語モデル; トライ木; remapping; 線形配置問題; トライ; ハイパーグラフ

ダブル配列言語モデルはダブル配列を用いたコンパクトなngram言語モデルの実装であり、高速な検索を実現できる点を特徴としている。しかし、非常に大きなテキストデータから学習する場合、モデルサイズ・構築速度が悪化する。本研究では、ダブル配列のモデルサイズ縮小の問題が単語ID付与（トライ遷移行列での列並び）に大きく依存している事実に基づき、ngram言語モデルのサイズ・構築時間を縮小させる単語ID付与手法を開発することを大きな目的としている。初年度はいくつかの提案予定の手法のうち、単語IDをngramのレベルによって変化させるRemappingと呼ばれる手法をダブル配列に適用することを提案し、サイズ・構築速度の効率を改善できることを示した。Remappingはngram単語列をトライ木で表現した場合の各ノードから子ノードへ分岐する単語ID番号を付け替えて、子ノード集合への分岐のIDの幅（分岐する可能性のある単語ID番号の範囲）を小さくする手法である。トライ木中の単語IDを直前の単語(トライ木の1つ上のノード)に依存したIDに付け替える。直前の単語により単語の種類が限定されるため、単語ID番号を小さな範囲に限定できる。このRemappingの手法はこれまで文字列圧縮の効率化に使われてきた手法であるが、我々はこの手法をダブル配列の効率化に利用することを提案した。ngramの種類数が数億から10億程度のある程度の規模のデータを用いて、Remappingの効果を評価した。その結果、Remappingしない場合に比べて確実にサイズが縮小しており、最大で30%程度のサイズ削減効果を確認できた。また、ngramの種類数が多くなるほどサイズ削減効果が高まっており、スケール効果が期待できる。加えて、構築速度もわずかであるが早くなっていることが確認できた。

ダ ブ ル go words モ デ ル は ダ ブ ル go を with い た コ ン パ ク ト な ngram words モ デ ル の be loaded で あ り, high-speed な 検 cable を be presently で き る point を, 徴 と し て い る. し か し, very big に き な テ キ ス ト デ ー タ か ら learning す る occasions, モ デ ル サ イ ズ, constructing speed が 悪 change す る. This study で は, ダ ブ ル go の モ デ ル サ イ ズ narrow の が 単 language ID give (ト ラ イ migration ranks で の column and び) に big き く dependent し て い る things be に base づ ngram き words モ デ ル の サ イ ズ time, constructing を narrow さ せ る 単 language ID give gimmick を open 発 す る こ と を big き な purpose と し て い る. Early annual は い く つ か の proposal to settle の gimmick の う ち, 単 ID を ngram の レ ベ ル に よ っ て variations change さ せ る Remapping と shout ば れ る gimmick を ダ ブ ル go に applicable す る こ と を proposal し, サ イ ズ, constructing speed の を improve working rate で き る こ と を shown し た. Remapping は ngram 単 language column を ト ラ イ wood で performance し の た occasion each ノ ー ド か ら son ノ ー ド へ branching す る 単 language ID mash を pay for え け て, child ノ ー ド collection へ の branching の ID の picture (branching す る possibility の あ る 単 の ID our fan 囲) を small さ く す る gimmick で あ る. ト ラ イ wood の 単 language ID を ahead の 単 language (ト ラ イ wooden の 1 つ の ノ ー ド) に dependent し た ID pay for え け に る. の way の 単 language に よ り 単 language types が qualified さ れ る た め, 単 ID mash を small さ な van 囲 に qualified で き る. こ の Remapping の gimmick は こ れ ま で text columns 圧 shrinkage の sharper rate change に make わ れ て き た gimmick で あ る が, I 々 は こ の gimmick を ダ ブ ル go の sharper rate に use す る こ と を proposal し た. Ngram の species number が hundreds of millions of か ら 1 billion degree の あ る degree の scale の デ ー タ を with い て, Remapping の unseen fruit を review 価 し た. そ の results, Remapping し な に い occasion than べ て indeed be に サ イ ズ が narrow し て お り degree 30%, maximum で の サ イ ズ sharper cuts fruit を confirm で き た. ま た, ngram の species number more than が く な る ほ ど サ イ ズ sharper cuts high が ま っ て お り, ス ケ ー ル unseen fruit が expect で き る. Increase えて, build speed わず わず であるが early くなって る る とが confirm で た た た.

项目成果

単語IDのremappingによるダブル配列言語モデルの効率化

通过重新映射单词ID来提高双数组语言模型的效率

• 发表时间: 2023
• 作者: 幡鉾勇哉，山本幹雄