Application of deep unfolding to stochastic information processing algorithms

深度展开在随机信息处理算法中的应用

• 批准号: 22K17964
• 负责人: 高邉 賢史
• 金额: $ 3万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17964/
• 关键词: 深層展開; 情報統計力学; 乱択アルゴリズム; 確率伝搬法

深層展開は既存の反復アルゴリズムの内部パラメタを学習することで収束特性を改善する深層学習的手法であり，近年最適化アルゴリズムへの適用が盛んである．本研究課題では，確率伝搬法やサンプリングといった確率的情報処理アルゴリズムへ深層展開を適用することでそれらのアルゴリズムの収束特性を改善可能であるかを検討する．本年度は，主にサンプリングアルゴリズムへの深層展開に関する検討を行った．一般にマルコフ連鎖モンテカルロ法の内部処理は微分不可能であるため，深層展開を直接適用することは困難である．この困難点を回避するため，(1) 粒子型サンプラーである粒子型変分推定法の利用，(2) 統計力学で用いられるHubbard-Stratonovich変換を利用したモンテカルロ法，という2つの微分可能アルゴリズムに対して深層展開を適用することを検討した．(1)に関してはStein Variational Gradient Descentが再生核ヒルベルト空間上の勾配法であることに着目し，そのステップサイズを深層展開により学習した．結果として，多峰的な確率分布からの乱数生成やベイジアンニューラルネットワークの学習などが効率よく行えることを確認した．(2)に関しては，無線通信における多入力多出力 (MIMO) 信号推定問題に対してHubbard-Stratonovich変換を利用した新たな学習可能信号検出器を開発した．このMIMO信号検出器は低計算量であるにも関わらず比較的良好な信号検出性能を示すことを数値的に確認した．

Deep expansion of the existing repetition of the inner パラメタを learning of the することでConclusion characteristic をIn order to improve the deep learning method of するであり, in recent years, the optimization of アルゴリズムへのapplies to が生んである. The subject of this research is the in-depth information processing of accuracy and accuracy. It is possible to improve the application of the unfolding and closing properties of the することでそれらのアルゴリズムののる. This year, the main theme of the にサンプリングアルゴリズムへの in-depth development is the に关する検検椒行った. The internal processing of the general chain link method is difficult and difficult, and the deep expansion method is directly applicable. How to avoid difficult points, (1) Utilization of the particle type particle size estimation method, (2) Statistical mechanics uses Hubbard-Stratonovich transformation and utilizes it.ルロ method, という2つのdifferentiation possible アルゴリズムに対してdeep expansionをapplicableすることを検した. (1)に关してはStein Variational Gradient Descent's regeneration core is a combination method in the space, and it is a deep expansion of the learning method. The result is a multimodal accuracy distribution and a random number generation system.ーラルネットワークの学などがefficiencyよく行えることをconfirmationした. (2) The problem of multi-input and multi-output (MIMO) signal estimation in wireless communication is solved. The MIMO signal extractor has a low calculation load and a good signal output performance compared with the original signal. The data value has been confirmed and confirmed.

项目成果

低計算量な学習可能MIMO信号検出器に関する一検討

低计算复杂度的可学习MIMO信号检测器研究

• 发表时间: 2023
• 作者: TAKABE Satoshi;WADAYAMA Tadashi;高邉 賢史
• 通讯作者: 高邉 賢史

Convergence Acceleration via Chebyshev Step: Plausible Interpretation of Deep-Unfolded Gradient Descent

• DOI: 10.1587/transfun.2021eap1139
• 发表时间: 2020-10
• 期刊: IEICE Trans. Fundam. Electron. Commun. Comput. Sci.
• 作者: Satoshi Takabe;T. Wadayama

Proximal Decoding for LDPC Codes

• DOI: 10.1587/transfun.2022tap0002
• 发表时间: 2023-03-01
• 期刊: IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS COMMUNICATIONS AND COMPUTER SCIENCES
• 影响因子: 0.5
• 作者: Wadayama，Tadashi;Takabe，Satoshi
• 通讯作者: Takabe，Satoshi