深層ニューラルネットワークを用いた高精度で効率的な確率推論法の開発と応用

利用深度神经网络的高精度、高效概率推理方法的开发和应用

• 批准号: 22KJ0679
• 负责人: 谷口 尚平
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22KJ0679/
• 关键词: 償却ランジュバン動力学法; 深層ボルツマンマシン; 不偏推定; マルコフ連鎖モンテカルロ法; 深層生成モデル

連続型の深層潜在変数モデルに対する確率的推論を効率的かつ精緻に行うための手法として提案した償却ランジュバン動力学法　（ａｍｏｒｔｉｚｅｄ　Ｌａｎｇｅｖｉｎ　ｄｙｎａｍｉｃｓ）　についての理論解析及び数値実験を実施し，その結果をまとめた論文が，機械学習分野の国際会議であるＮｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ　（ＮｅｕｒＩＰＳ　２０２２）　に採択され，昨年１２月にアメリカ・ニューオーリンズで行れた会議においてポスター発表を行った．また，離散型の深層潜在変数モデルの一種である深層ボルツマンマシンに対する確率的推論手法として，新たにｕｎｂｉａｓｅｄ　ｃｏｎｔｒａｓｔｉｖｅ　ｄｉｖｅｒｇｅｎｃｅ　ｗｉｔｈ　ｌｏｃａｌ　ｍｏｄｅ　ｉｎｉｔｉａｌｉｚａｔｉｏｎ　（ＵＣＤ－ＬＭＩ）　を提案し，その有効性を示す数値実験を行った．ＵＣＤ－ＬＭＩは，深層ボルツマンマシンの勾配の不偏推定を高次元な場合にもスケーラブルに行うことを可能にしており，これまで難しかった深層ボルツマンマシンの一気通貫型の学習に成功した．こちらの成果については，機械学習分野の国際会議であるＩｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　（ＩＣＭＬ　２０２３）　に投稿し，採録されることが決定した．２０２３年７月にハワイで開催されるＩＣＭＬ　２０２３の会議において，ポスター発表を実施する予定である．

A dynamic method for calculating the probability of a continuous type of deep potential problem (amortized Langevin dynamics) Theoretical analysis and numerical value of the results of the paper, mechanical learning division of the international conference on Neural Information Processing Systems (NeurIPS 2022) A new method of inference for the accuracy of discrete type deep potential diversity with local mode initialization (UCD-LMI) is proposed, and a new method of inference for the accuracy of discrete type deep potential diversity with local mode initialization (UCD-LMI) is proposed. The success of this study is due to the difficulty of deep learning. In July 2023, the International Conference on Machine Learning (ICML 2023) was held to promote the implementation of ICML 2023.

项目成果

大規模言語モデルの活用による効率的なロボット制御の学習

使用大规模语言模型进行高效的机器人控制学习

• 发表时间: 2023
• 作者: Adnan S. M. Naheed;Matsukawa Kazuto;Haga Yuji;Islam Md Monzurul;Nakano Yoshiaki;ADNAN S M NAHEED;樋口大夢;樋口大夢;太田聡一郎;太田聡一郎;高城 頌太
• 通讯作者: 高城 頌太

Langevin Autoencoders for Learning Deep Latent Variable Models

• DOI: 10.48550/arxiv.2209.07036
• 发表时间: 2022-09
• 期刊: ArXiv
• 作者: Shohei Taniguchi;Yusuke Iwasawa;Wataru Kumagai;Yutaka Matsuo