New IoT-Based Communication Support System for Children with Severe Multiple Disabilities

点击翻译按钮获取中文摘要

二年目である今年度は、初年度の結果を基に、視覚・聴覚・触覚刺激を提示しながら重度・重複障害児の反応の変化を観察するプロトタイプシステムの改良を進めた。特に対象となる子どもたちの反応の時間的変化やパターンを正確に捉えることを目指して、顔や体の動きをタブレット端末のカメラを用いてトラッキングできる機械学習モデルをプロトタイプシステムに追加し、顔の向き、口や目の開き具合、手や腕の動き等を個別に捉えることを可能とした。併せて、反応の定量的データの分析を可能とする機能強化を図った。具体的には、提示された刺激と重度・重複障害児の反応の関係性を評価するためのTransfer Entropyを用いた時系列解析の機能を追加した。改良したプロトタイプシステムの有効性を検証するため、4人の重度・重複障害のある子どもに対して、観察者が光や音、振動刺激を提示し、その時の彼らの動きの変化を捉える実験を実施した。これにより、無介入時と振動刺激提示時の反応の違いを捉え、また、記録された動きのデータの時系列解析により刺激と反応の間の因果関係が認められるなど、先行研究で示唆された事象と一致する結果を確認することができた。また、このプロトタイプシステムを用いることで、目視による観察では気づかなかった反応を見出すことができたケースも一部に見られた。しかし、実態把握に向けては、支援の現場における適切かつ実施可能な実験条件についてのさらなる議論が求められ、そのためにも今後、刺激提示を自動化することが重要となることが確認された。