生体信号と生活場面のセンシングで超重症児の気持をくみ取る認識・識別システムの構築

构建识别识别系统，通过感知生物信号和日常生活情况，捕捉危重儿童的感受

• 批准号: 19K11330
• 负责人: 佐藤 春彦
• 金额: $ 2.66万
• 依托单位: Kansai Medical University (2021-2022)Kitasato University (2019-2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K11330/
• 关键词: 超重症児; コミュニケーション; パターン認識; 行動記録

この研究は重度の障害を抱え、発声がなく、表情変化も乏しい児童が、他者とのコミュニケーション場面で何らかのシグナルを発しているはず、との前提に立ち、そのシグナルを生体センシング技術で捉え、本人の気持ちとして認識するシステムの構築を目指している。２０２２年度は収集した５名の対象児のデータ分析を中心に、追加のデータ収集も行いつつ進めた。その成果は１編の英語論文にまとめ、国内の学会でも発表した。概要は次の通りである。成果① 心拍数の増加は「負」の反応（痛みなど）とよく対応した：表情の乏しい４名の重度障害児において、観察した場面から「正」の反応（うれしい、楽しい）と「負」の反応（嫌、痛い）を推測し、心拍数との対応を見ると、「負」の反応で心拍数の増加を認めた。成果② 気持ちと関連する指標を人工知能（AI）で学習させると、「負」の反応は高い確率で識別できた：障害児のことをよく知る人が類推した気持ちを正解値として、心拍、目や口のわずかな動き、呼吸の深さなどの生体信号を特徴量として学習したアルゴリズムを作成した。これを用いて識別した気持ちの正解率は、７０％と高かった。成果③ 障害児のことを知らない他人は気持ちの類推が困難：対象とした障害児のことをよく知らない人が類推した気持ちの正解率は４９％であった。表情の乏しい障害児の気持ちを推し量るのは、他人には困難であり、人工知能による学習を用いた認識システムは、気持ちを読み解く有益なツールとなりえることがうかがえた。今後はリアルタイムで生体情報を収集し、タブレット上に気持ちを表示するシステムを構築し、他人とのコミュニケーションを深めることにつなげていく。

こ の research は severe の handicap of を え, sound 発 が な く, expression - も spent し い where child が, he と の コ ミ ュ ニ ケ ー シ ョ ン what scene で ら か の シ グ ナ ル を 発 し て い る は ず, と の premise に ち, そ の シ グ ナ ル を raw body セ ン シ ン グ technology え で caught, I の 気 hold ち と し て know す る シ ス テ ム の build を refers し て い る . 5 2022 は 収 set し た の like where seaborne の デ ー に を タ analysis center, additional の デ ー タ 収 row い も つ つ into め た. Youdaoplaceholder0 そ achievements そ 1. Edited <s:1> English paper にまとめ, domestic <s:1> society で そ release table た た. Summary: である ciotong である. Result ① An increase in the number of heart beats 応 "negative" <s:1> opposite 応 (pain みな た) とよく against 応 た : Expression の spent し い four の severe handicap of where に お い て and examines 観 し た scene か ら "is" の anti 応 (う れ し い, joy し い) と "negative" の anti 応 (too, pain い) を speculation し number, heart beats と の 応 seaborne を see る と, "negative" の anti 応 で の raised plus the number heart beats を recognize め た. Results (2) 気 hold ち と masato even す る index を artificial knowledge can study (AI) で さ せ る と, "negative" の anti 応 は high い probabilistic で recognition で き た : Handicap where の こ と を よ く る person が analogy し た 気 hold ち を positive solution numerical と し て, heart, eye や の わ ず か な き, deep breathing の さ な ど の を te 徴 raw body signal と し て learning し た ア ル ゴ リ ズ ム を made し た. <s:1> れを uses れを て to identify <s:1> た with ち correct solution rate <e:1> and 70% と high った った. Results (3) handicap of where の こ と を know ら な い others は 気 hold ち の analogy が difficult: like と seaborne し た handicap of where の こ と を よ く know ら な い people が analogy し た 気 hold ち の positive solution は 49% で あ っ た. Expression の spent し い handicap of where の 気 hold ち を push し quantity る の は, others に は difficult で あ り, artificial can know に よ る use learning を い た know シ ス テ ム は, 気 ち を 読 く み solution beneficial な ツ ー ル と な り え る こ と が う か が え た. Future は リ ア ル タ イ ム で raw body intelligence を 収 し, タ ブ レ ッ ト on に 気 hold ち を said す る シ ス テ ム を constructing し, others と の コ ミ ュ ニ ケ ー シ ョ ン を deep め る こ と に つ な げ て い く.

项目成果

重症児の発するシグナルを逃さず捉え気持ちをくみ取る試み

尝试捕捉重病儿童的信号并了解他们的感受

• 发表时间: 2022
• 作者: 佐藤春彦;白石俊彦;田邉寛記;二瓶美里;井上剛伸;桑原知佳
• 通讯作者: 桑原知佳

超重症児の気持ち認識システムの検討

重症儿童感觉识别系统的检查

• 发表时间: 2021
• 作者: Sato H;Tanabe H;Shiraishi T;Nihei M;Inoue T;Kuwabara C;田邉寛記，白石俊彦，佐藤春彦，井上剛伸，二瓶美里
• 通讯作者: 田邉寛記，白石俊彦，佐藤春彦，井上剛伸，二瓶美里

Identifying emotions of children with profound intellectual and multiple disabilities using physiological signals: a preliminary study

使用生理信号识别患有严重智力障碍和多重障碍的儿童的情绪：初步研究

• 发表时间: 2022
• 作者: Sato H;Tanabe H;Shiraishi T;Nihei M;Inoue T;Kuwabara C
• 通讯作者: Kuwabara C

A concept for emotion recognition systems for children with profound intellectual and multiple disabilities based on artificial intelligence using physiological and motion signals

基于使用生理和运动信号的人工智能的针对具有严重智力和多重障碍的儿童的情感识别系统的概念

• DOI: 10.1080/17483107.2023.2170478
• 发表时间: 2023
• 期刊: Disability and Rehabilitation: Assistive Technology
• 作者: Tanabe Hiroki;Shiraishi Toshihiko;Sato Haruhiko;Nihei Misato;Inoue Takenobu;Kuwabara Chika
• 通讯作者: Kuwabara Chika

重症児の気持ち表示器の開発

开发危重儿童情绪指标