睡眠時動画解析による生体情報抽出法の開発と睡眠状態変動推定へのその応用

基于睡眠视频分析的生物信息提取方法的开发及其在睡眠状态波动估计中的应用

• 批准号: 20K12773
• 负责人: 前田 誠
• 金额: $ 2.66万
• 依托单位: Kyushu Sangyo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K12773/
• 关键词: 睡眠動画解析; ヘルスケアモニタリング; 独立成分分析; リカレントニューラルネットワーク; 心拍変動解析; 寝顔形状解析; 次元圧縮; クラスタリング; 心拍間隔抽出; 形状記述; 生体情報抽出; 機械学習; 顔形状解析; 睡眠

令和４年度は以下の２つの計画について研究を進めた。【計画１: 数学モデルに基づく赤外線動画からの自律神経リズム抽出法の開発】LSTM(Long Short-Term Memory)モデルに基づく心拍間隔を予測する数学モデルの開発にむけ、オートエンコーダを用いた時系列予測モデルの実装に取り組んだ。しかし、学習に要する計算時間の割に予測精度が期待したほど良くならず応用するまでには至っていない。一方、赤外線動画から得られる多チャンネルの時系列データに対して、独立成分分析を用いて心拍間隔を予測する数学モデルでは、ピーク間隔時系列を取得する際、等間隔データにリサンプリング処理した上で解析することで、心拍間隔の時間変動の推定精度が大幅に向上することを確認した。その結果、心拍変動リズムの指標として知られるLF/HFリズムを算出することまで実現できている。このリズムと睡眠リズムとの関係性、寝顔形状の推移との関係性について調査を深める段階にある。【計画２: 顔形状の特徴記述法の改良とその時間変動に関する特徴抽出】昨年開発した寝顔形状の特徴記述法に用いた顔の特徴点抽出法では特徴点の位置ずれの影響が大きいことが課題であった。そこで、MediaPipe Face Meshライブラリを用いた特徴点抽出を行う方法を用いた。特徴点間のメッシュ情報を活用できる利点があり、面積比による寝顔形状の特徴記述法を開発した。現在、検証を進めている段階であるが、従来法に比べて余計な変動が少なく寝顔形状の推移を調査しやすい指標が得られているのではないかと評価している。合わせて前年度開発したクラスタリング手法を用いることで各クラスの時間的推移を可視化し寝顔形状の状態の定量化を進めている段階である。これより異なる実験日間での寝顔形状の類似性や相関などを深く調査することで、睡眠や体調との関係性について解析していく必要がある。

在2022财政年度，我们对以下两个计划进行了研究：[计划1：基于数学模型的红外视频的自主神经节奏提取方法的开发]，以开发一种数学模型，以预测基于LSTM（长期短期记忆）模型的心跳间隔，我们致力于使用Autocectiation模型实现时间序列预测模型。但是，对于训练所需的计算时间，预测准确性并未像预期的那样提高，尚未应用。另一方面，在一个数学模型中，在获得使用独立组件分析的红外电影获得的多渠道时间序列数据的心跳间隔中，当获得峰值间隔时间序列时，可以通过将其重新绘制到平等的间隔数据和分析中，从而大大改善心跳间隔时间变化的准确性。结果，甚至可以计算LF/HF节奏，被称为心率变异性的指标。目前，我们正在加深对这种节奏与睡眠节奏之间关系以及睡眠面部形状之间关系的研究。 [计划2：改进面部特征描述方法和与时间变化相关的特征的提取]面部特征点提取方法去年开发的面部形状特征描述方法是特征点位置偏差的重大影响。因此，使用了一种使用MediaPipe Face网格库提取特征点的方法。它具有在特征点之间利用网格信息的优点，并且已经开发了一种基于面积比的来描述睡眠面形状特征的方法。目前，我们目前正在进行验证，但我们认为，不必要的波动少于传统方法，并且我们能够获得一个指数，使调查睡眠面部形状的趋势变得更加容易。此外，通过使用去年开发的聚类方法，我们正在可视化每个班级的时间进展，并量化睡眠面的状态。有必要通过对不同实验日的睡眠面部形状之间的相似性和相关性进行深入研究来分析睡眠与身体状况之间的关系。

项目成果

睡眠時における顔領域の赤外線動画に基づく心拍変動リズム推定

基于睡眠期间面部区域红外视频的心率变异性节律估计

• 发表时间: 2022
• 作者: Rise Morimoto;Hiroharu Kawanaka;Yulia Hicks;Rossi Setchi;塩田崇真，浜田百合，栗原陽介;青代敏行，持田智実，中西大輔;前田誠
• 通讯作者: 前田誠

睡眠中における寝顔形状の特徴記述とそのクラスタ解析に関する一考察

睡眠时睡脸形状特征描述及其聚类分析研究

• 发表时间: 2021
• 作者: 前田誠;赤島直也
• 通讯作者: 赤島直也