オンチップ自律学習回路のための価値形成目的型SAM-SNN強化学習の研究

点击翻译按钮获取中文摘要

一昨年度末，「目標到達タスク」において初めてSAM-SNNにActor-Critic型強化学習を利用したモデルでの成功を確認した．これに伴い，知財化の実施の検討も併せて行い，初出の技術であることを確認した．しかしながら，その後の解析により学習の経過に伴って目標到達率が再度減少し学習が安定しないことが判明した．これを受けて昨年度は，より解析を行いやすくするため，これまでC/C++言語により実験を行っていたが，python言語により実験システムを実装しなおし，各種パラメータの詳細な動きを観測しやすいように変更を行った．ここで作成したpython言語による実験システムは，本研究室にてSAM-SNNをライブラリ化したものを利用しており，研究の実施に伴って研究環境の整備も進め，技術蓄積を行っている．本研究室の本実験システムの利用により，下記のことが明らかとなってきた．・探索を（カオス的などではなく）ランダムに行っており，このランダム成分のパラメータの設定による学習のされかたに幅がある．・学習率ηの設定は，関数近似のタスクと同様に，小さめが安定している模様．今後上記の検証を重ねていく．また，昨年度は，これまでのSAM-SNNによるActor-Critic型強化学習の研究で得られた知見を国際会議ISNAIH2023にて成果発表を行った．主に国内の同分野の若手研究者と有益なディスカッションが可能となった．