診療中の映像に基づく歯科診療の手技アルゴリズムの推定

点击翻译按钮获取中文摘要

今年度の研究においてはまず、実際の診療を複数のカメラで記録し蓄積するデータベースの構築を行い、電子カルテシステムを参照することで処置内容を確認できるシステムの構築を行った。このシステムは患者の個人情報に配慮し、同意の得られた患者の診療中のみ映像を記録し、それ以外の場合は映像を記録しないよう、患者に合わせて半自動でシステムの動作を制御する仕組みを実装している。このシステムにより、診療中の術者・患者の動作、口腔内の様子、使用する器具の状況を半自動で蓄積可能となった。器具を置く台を写した映像に対して処置の特徴を取り出すために、一般物体認識モデルであるYOLOv4およびYOLOv7で器具を高確率に検出するための効率的なアノテーション手法について研究を行い、「An efficient annotation method for image recognition of dental instruments」のタイトルでScientific Reportsへ掲載された。この方法を用いてトレー上の映像を、器具の種類とその個数を示す時系列情報に変換し、う蝕処置、歯周処置、根管貼薬処置、根管充填処置の4種の診療内容を分類する手法の研究を行っている。この時系列情報に対して従来から一般的に用いられる再帰ニューラルネットワーク(RNN)の一種であるLSTMをそのまま用いても焼く50%程度でしか診療内容を分類することができないが、RNNを用いないニューラルネットワークを用いることで、高い精度で分類できることが明らかとなっている。