Computing based on pseudo-billiard dynamics in hypercube and its applications

基于超立方体伪台球动力学的计算及其应用

• 批准号: 20H04258
• 负责人: 香取 勇一
• 金额: $ 11.23万
• 依托单位: Future University-Hakodate
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H04258/
• 关键词: レザバー計算; ニューラルネットワーク; 人工知能; 機械学習; 脳型人工知能; 感覚情報処理; 運動制御; 脳型情報処理

2022年度は，超立方体上の疑似ビリヤード・ダイナミクスを用いた計算機構（超立方体計算）について，応用先の探索を進め，実装研究に着手した．特に予測符号化とレザバー計算を組み合わせた感覚情報処理モデル，強化学習とレザバー計算を組み合わせた運動制御モデル，またレザバー計算に基づく感覚情報処理と運動生成を組み合わせた統合情報処理モデル，さらにこれらのモデルを超立方体計算の枠組みに実装する研究を進めた．まずレザバー計算に基づく強化学習と予測符号化のモデルを統合した統合情報処理モデルを提案した．このモデルでは，感覚入力の予測と行動価値の推定を単一のレザバーからの読み出しにより行う．行動価値の学習は報酬に基づき行われる．また予測層の学習は予測の最小化の基準に基づいて行われる．このモデルは，強化学習タスクに利用できることに加えて，予測符号化により環境の変化を予測するメンタル・シミュレーションを実現する．このメンタル・シミュレーションによる行動計画の機構を２次元ロボットシミュレータ環境上で検証し，その有効性を確認した．効率的なレザバーハードウェアの実現が見込まれる超立方体計算レザバーをデジタル回路（FPGA）で実装し，その性能評価を行った．まず音声認識タスクにより，このレザバーの性能評価を行った．このタスクでは，数字の発話音声の時系列をコクリアグラムに変換し，それをレザバーへの入力とした．レザバーからの読み出しにより，０～９の数字に対応をするラベルを出力する．この数字の発話認識において認識性能が97%程度になることを確認した．さらにレザバー強化学習モデルを実装し，その評価を進めた．連続空間上の移動ロボットタスクにおいて，その基本的な動作の確認を行うことができた．

On 2022 annual は hypercube の suspected ビ リ ヤ ー ド · ダ イ ナ ミ ク ス を with い た computing mechanism (calculated on the basis of hypercube に つ い て, 応 with の explore を into め first, be installed research に to し た. Special に be symbolic と レ ザ バ ー computing を group み close わ せ た feeling 覚 intelligence 処 Richard モ デ ル, reinforcement learning と レ ザ バ ー computing を group み close わ せ た movement suppression モ デ ル, ま た レ ザ バ ー computing に base づ く feeling 覚 intelligence 処 Richard と movement generated を group み close わ せ た integration intelligence 処 Richard モ デ ル, さ ら に こ れ ら の モ デ ル を hypercube computing の 枠 group み に be loaded す を る research into め た. ま ず レ ザ バ ー computing に base づ く reinforcement learning と be symbolic の モ デ ル を integration し た integration intelligence 処 Richard モ デ ル を proposal し た. こ の モ デ ル で は, feeling 覚 と の to test into force action on 価 numerical の presumption を 単 a の レ ザ バ ー か ら の 読 み out し に よ う り line. Action 価 value 価 learning 価 reward に basis づ line われる. The また pre-test layer <e:1> learns that the pre-test layer minimizes the cue に basis づ て て rows われる. こ の モ デ ル は, reinforcement learning タ ス ク に using で き る こ と に plus え て, be symbolic に よ の り environment - the を be す る メ ン タ ル · シ ミ ュ レ ー シ ョ ン を be presently す る. こ の メ ン タ ル · シ ミ ュ レ ー シ ョ ン に よ る action plan の を 2 yuan ロ ボ ッ ト シ ミ ュ レ ー タ environment で 検 し, そ の have sharper sex を confirm し た. Working rate な レ ザ バ ー ハ ー ド ウ ェ ア の be が now see 込 ま れ る hypercube computing レ ザ バ ー を デ ジ タ ル loop (FPGA) で be し, そ の performance evaluation 価 を line っ た. The sound of まず is recognized by タス and によ respectively, and the performance evaluation is 価を and った. <s:1> タス で で た, when a voice sound is produced by a digital <s:1>, a series of をコ リアグラムに リアグラムに change <s:1>, それをレザバ へ へ へ へ へ the input force of the へ た. Youdaoplaceholder0 レザバ レザバ ら ら 読み 読み output によ レザバ, 0 to 9 <s:1> numbers に exert a する force on 応をするラベ 応をするラベ を を. <s:1> digital にお communication recognition にお て recognition performance が97% degree になる とを とを confirmation た た. Youdaoplaceholder0 さらにレザバ reinforcement learning モデ さらにレザバ を を actual application を, そ <s:1> evaluation 価を advancement めた. Even 続 space の mobile ロ ボ ッ ト タ ス ク に お い て, そ の basic な action line の confirm を う こ と が で き た.

项目成果

A Co-design Environment for Computational Models and Circuits Using PyLTSpice and Its Application to Circuit Design for Reinforcement Learning Using Reservoir Computing

使用 PyLTSpice 的计算模型和电路协同设计环境及其在使用储层计算的强化学习电路设计中的应用

• 发表时间: 2022
• 作者: Y. Shishido;K. Kawazoe;K. Tamai;Y. Katori;H. Tamukoh;O. Nomura;T. Morie
• 通讯作者: T. Morie

FPGA Implementation and Verification of Reservoir Computing Based on Pseudo-Billiard Dynamics in Hypercube

超立方体中基于伪台球动力学的油藏计算的FPGA实现与验证

• 发表时间: 2020
• 作者: Daichi Yamamoto;Ichiro Kawashima;Hakaru Tamukoh;Takashi Morie;and Yuichi Katori
• 通讯作者: and Yuichi Katori

Short-term memory ability of reservoir-based temporal difference learning model

基于水库的时间差异学习模型的短期记忆能力

• 发表时间: 2021
• 作者: 李 広;藤後 廉;小川 貴弘;長谷山 美紀;Yu Yoshino and Yuichi Katori
• 通讯作者: Yu Yoshino and Yuichi Katori

海馬・扁桃体・前頭前野の機能を統合した脳型AIハードウェア

整合海马、杏仁核、前额皮质功能的脑形AI硬件

• 发表时间: 2021
• 作者: Akinobu Mizutani;Yuichiro Tanaka;Hakaru Tamukoh;Yuichi Katori;Katsumi Tateno;and Takashi Morie;徳野 将士，田中 悠一朗，川節 拓実，細田 耕，田向 権;田中 悠一朗，田向 権，立野 勝巳，田中 啓文，森江 隆
• 通讯作者: 田中 悠一朗，田向 権，立野 勝巳，田中 啓文，森江 隆

A Reservoir Based Q-learning Model for Autonomous Mobile Robots

基于水库的自主移动机器人 Q 学习模型

• 发表时间: 2020
• 作者: Masafumi Inada;Yuichiro Tanaka;Hakaru Tamukoh;Katsumi Tateno;Takashi Morie;and Yuichi Katori
• 通讯作者: and Yuichi Katori