Automatic Classification of Neonatal Sleep-Wake States by Video Analysis

点击翻译按钮获取中文摘要

本研究ではNICUにおける児の睡眠覚醒状態を、動画により自動分類する手法を検討している。具体的には1分ごとにBrazeltonのNBASに基づく睡眠覚醒状態のアノテーションが付与された新生児の動画を対象として、動画から抽出された体の動きと表情の特徴を機械学習し、睡眠覚醒状態を非接触で自動分類する。実施項目として「体の動きに基づく睡眠覚醒状態自動分類」、「表情に基づく睡眠覚醒状態自動分類」、「体の動きと表情の両方を用いる睡眠覚醒状態自動分類」を計画している。2021年度は、動画フレームの顔領域から抽出したHOG特徴とSVMを用いた分類手法について論文誌で報告するとともに、オプティカルフローにより抽出した体の動きの特徴量を用いる機械学習手法と、動画を3DResNetで分類する手法の比較を行ったが、3DResNetの精度が不十分であった。2022年度は、後者の実験条件を整えて検討したところ、オプティカルフローから求めた体の動きの特徴量を用いる機械学習手法の分類精度がmacro-F1値で0.765のところ、3DResNetでは0.766とほぼ同程度となり、ここまでの成果を、2022 World Automation Congress (WAC)で発表した。現時点でBrazeltonのNBASに基づく新生児の睡眠覚醒状態自動分類手法は存在せず、本研究の成果により、新生児や看護師に負担をかけずに継続的・客観的な睡眠状態の観測が可能になることを期待できる。