An adaptive hybrid control model of basal ganglia and cerebellum for stabilizing human upright posture

稳定人体直立姿势的基底节和小脑自适应混合控制模型

• 批准号: 22H03662
• 负责人: 野村 泰伸
• 金额: $ 11.32万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03662/
• 关键词: 姿勢制御; 強化学習; 大脳基底核; 小脳; パーキンソン病; 誤差学習; むだ時間制御系; 間欠制御; ハイブリッド制御; フィードバック誤差学習; 立位姿勢制御

ヒト脳におけるモデルフリーおよびモデルベースの意思決定・行動選択メカニズムの解明は、革新的ソフトコンピューティング技術開発に資する重要課題である。強化学習・報酬予測の座である大脳基底核と、教師あり学習により内部モデルを適応的に獲得する小脳の機能分担・機能連携のモデルは、そうした脳内メカニズムの有力仮説である。しかし具体的な脳機能を対象としてその実体がシステム工学的に解明された事例は少ない。本研究では、ヒト静止立位姿勢の安定化制御に焦点を絞り、基底核と小脳の機能を統合したヒト立位姿勢の適応的ハイブリッド制御モデルを構築し、姿勢安定化戦略の立位環境適応的な変化、および神経疾患(基底核・前庭・小脳疾患)に起因する姿勢不安定化メカニズムの解明を目指す。1年目の２０２２年度は、立位環境適応的な姿勢制御戦略の解明の基盤モデルの構築、および前庭症状を呈する患者の静止立位姿勢動揺の解析を実施した。特に前者に関しては、我々が提唱するヒト静止立位姿勢の間欠制御モデルに着目し、間欠制御戦略が強化学習を通じて獲得されるような即時報酬関数やノイズを含む学習環境の解明を目指した。報酬関数の探索は、様々な報酬関数を用意し、それぞれの報酬関数に基づく強化学習を実施し、間欠制御が獲得されるか否かを調査する順強化学習アプローチと、若年健常者の静止立位姿勢動揺データをエキスパートの行動データとみなし、逆強化学習アルゴリズムを用いて未知の報酬関数を推定するアプローチで進めた。その結果、直立位置からの姿勢のずれ（誤差）の最小化と姿勢制御に要するエネルギー消費パワーのトレードオフを内在するような比較的単純な瞬時コスト（負の報酬）関数の下で、フィードバック時間遅れと適切な累積割引率を仮定した強化学習が行われると、間欠制御戦略が獲得されることが明らかになった。この成果は、現在国際英文誌に投稿準備中である。

The problem of rational decision-making and action in solving problems and innovating solutions is an important issue in the development of technology. Enhanced Learning·Salary Prediction·Large Basal Nucleus·Teacher·Learning·Internal·Appropriate·Acquiring·Small·Function Sharing·Function Connection·Powerful·Internal·Internal·Acquiring There are a few examples of how to solve the problem of system engineering. This study aims to clarify the mechanism of postural instability in the context of the focal point, functional integration of the basal nuclei and microtubules, and the construction of the postural stability strategy and orthostatic adaptation, as well as the causes of neurological disorders (basal nuclei, vestibule and microtubules disorders). In 2022, the analysis of static posture and motion of patients with appropriate posture control strategy and vestibular symptoms was implemented. In particular, the former is related to the acquisition of real-time compensation and the understanding of the learning environment. Pay relationship exploration, pay relationship analysis, pay relationship analysis Results: Minimization of posture error in upright position and posture control requirements; comparison of pure instantaneous (negative) relationship; determination of appropriate cumulative cut rate; reinforcement learning; and optimization of posture control requirements. The results are now in preparation for submission to the International English Journal.

项目成果

ヒト静止立位姿勢のニューロメカニクス：脳と身体メカニクスの巧みな相互作用

人体静息站立姿势的神经力学：大脑与身体力学之间的巧妙相互作用

• 发表时间: 2022
• 作者: 中川夢斗;木下貴登;増山直輝;能島裕介;石渕久生;野村泰伸
• 通讯作者: 野村泰伸

ヒト静止立位姿勢の間欠フィードバック制御を強化学習的に獲得する報酬関数の探索

使用强化学习寻找奖励函数以获得人体静态站立姿势的间歇反馈控制

• 发表时间: 2023
• 作者: 高澤 知起;鈴木 康之;中村 晃大;松尾 理沙;野村 泰伸
• 通讯作者: 野村 泰伸

Intermittent Control Strategy for Stabilizing Human Quiet Stance, A Model of the

稳定人类安静姿态的间歇控制策略，一个模型

• DOI: 10.1007/978-1-0716-1006-0_100698
• 发表时间: 2022
• 期刊: Encyclopedia of Computational Neuroscience
• 作者: Nomura Taishin;Suzuki Yasuyuki;Morasso Pietro G.
• 通讯作者: Morasso Pietro G.

ヒト静止立位姿勢の 間欠フィードバック制御を生成する 報酬関数の順強化学習的探索

前向强化学习寻找奖励函数，产生人类静态站立姿势的间歇性反馈控制

• 发表时间: 2022
• 作者: 高澤知起;松尾理沙;鈴木康之;中村晃大;野村泰伸
• 通讯作者: 野村泰伸

Italian Institute of Technology(イタリア)

意大利理工学院（意大利）