Automatic Classification of Neonatal Sleep-Wake States by Video Analysis

通过视频分析对新生儿睡眠觉醒状态进行自动分类

• 批准号: 21K12704
• 负责人: 若林 哲史
• 金额: $ 2.58万
• 依托单位: Mie University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12704/
• 关键词: 睡眠; 新生児; NICU; 機械学習; 動画; 表情

本研究ではNICUにおける児の睡眠覚醒状態を、動画により自動分類する手法を検討している。具体的には1分ごとにBrazeltonのNBASに基づく睡眠覚醒状態のアノテーションが付与された新生児の動画を対象として、動画から抽出された体の動きと表情の特徴を機械学習し、睡眠覚醒状態を非接触で自動分類する。実施項目として「体の動きに基づく睡眠覚醒状態自動分類」、「表情に基づく睡眠覚醒状態自動分類」、「体の動きと表情の両方を用いる睡眠覚醒状態自動分類」を計画している。2021年度は、動画フレームの顔領域から抽出したHOG特徴とSVMを用いた分類手法について論文誌で報告するとともに、オプティカルフローにより抽出した体の動きの特徴量を用いる機械学習手法と、動画を3DResNetで分類する手法の比較を行ったが、3DResNetの精度が不十分であった。2022年度は、後者の実験条件を整えて検討したところ、オプティカルフローから求めた体の動きの特徴量を用いる機械学習手法の分類精度がmacro-F1値で0.765のところ、3DResNetでは0.766とほぼ同程度となり、ここまでの成果を、2022 World Automation Congress (WAC)で発表した。現時点でBrazeltonのNBASに基づく新生児の睡眠覚醒状態自動分類手法は存在せず、本研究の成果により、新生児や看護師に負担をかけずに継続的・客観的な睡眠状態の観測が可能になることを期待できる。

This study で は NICU に お け る where を の 覚 sleep wake state, animation に よ り automatic classification す る gimmick を beg し 検 て い る. Specific に は 1 ご と に Brazelton の NBAS に base づ く 覚 sleep wake state の ア ノ テ ー シ ョ ン が give さ れ た where new の animation を like と seaborne し て, animation か ら spare さ れ た body の dynamic き と expression の, 徴 を rote learning し and waking sleep 覚 state を non-contact automatic で す classification る. Be applied project と し て "body の き に base づ く 覚 sleep wake up automatic classification", "expression に base づ く 覚 sleep wake up automatic classification", "body の き と expression の struck party を with い る 覚 sleep wake state automatic classification" を project し て い る. 2021 は, animation フ レ ー ム の yan field か ら spare し た HOG, 徴 と SVM を with い た classification technique に つ い て paper log report で す る と と も に, オ プ テ ィ カ ル フ ロ ー に よ り spare し た body の dynamic き の, 徴 quantity を with い る machine learning technique と, animation を 3 dresnet classification で す る line technique の is を っ た が The precision of 3DResNet が is not very であった. 2022 annual は, the latter の be 験 conditions を whole え て beg し 検 た と こ ろ, オ プ テ ィ カ ル フ ロ ー か ら o め た body の dynamic き の, を 徴 quantity with い る machine learning technique の classification accuracy が on macro - F1 numerical で 0.765 の と こ ろ, 3 dresnet で は 0.766 と ほ ぼ with degree と な り, こ こ ま で の results を, 2 022 World Automation Congress (WAC)で publishes た. Now point で Brazelton の NBAS に base づ く where new の 覚 sleep wake exist state of automatic classification technique は せ ず, this study の に よ り, where new や see junior &senior に burden を か け ず に 継 続, guest 観 な sleep state の 観 が measurement may に な る こ と を expect で き る.

项目成果

深層学習を用いた新生児の睡眠覚醒状態の自動分類

使用深度学习对新生儿睡眠-觉醒状态进行自动分类

• 发表时间: 2022
• 作者: 伊藤 由樹;盛田 健人;若林 哲史;新小田 春美;松本 あさみ;野口 ゆかり;白水 雅子
• 通讯作者: 白水 雅子

Automatic Neonatal Alertness State Classification Based on Facial Expression Recognition

基于面部表情识别的新生儿警觉状态自动分类

• DOI: 10.20965/jaciii.2022.p0188
• 发表时间: 2022
• 期刊: Journal of Advanced Computational Intelligence and Intelligent Informatics
• 影响因子: 0.7
• 作者: Kento Morita;Nobu C. Shirai;Harumi Shinkoda;Asami Matsumoto;Yukari Noguchi;Masako Shiramizu;and Tetsushi Wakabayashi
• 通讯作者: and Tetsushi Wakabayashi

Automatic Estimation of Neonatal Sleep/Wake States in the NICU Using 3D CNN

使用 3D CNN 自动估计 NICU 中的新生儿睡眠/觉醒状态

• 发表时间: 2022
• 作者: Yuki Ito;Kento Morita;Tetsushi Wakabayashi;Harumi Shinkoda;Asami Matsumoto;Yukari Noguchi and Masako Shiramizu
• 通讯作者: Yukari Noguchi and Masako Shiramizu