Implementing Home Care Assistant System Understanding Intentions and Minds

令和4年度は在宅介護において，主にA. 観察対象を区別する対話型エッジ顔識別システムの検討 B. 非言語情報に基づく対象者の日常必要な見守りの認識手法の検討を行った．具体的な検討内容として，まず，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を検討している．そのため，システム構成である (1)既存データの読み込みと特徴抽出 (2)新たな学習データの取得と特徴抽出 (3) 既存データと学習データの特徴比較 (4)識別結果に基づくエージェント対話，4つについて提案をしている．その結果，ユーザのプライバシー課題とデータを学習・関連するプロセス，およびシステム導入容易性を改善することが可能になったと言える．また，識別できた対象者に対し，日常必要な見守り（介護コンテキストと呼ぶ）の認識手法を検討している．USB定点カメラから取得したライブ画像をTensorFlowの事前学習済みモデルに入力し，時系列上で出力された画像内の人間の位置ごとに，非言語情報 (顔，骨格，手の特徴点の2D座標など) の特徴を用いて学習・分類を行っている．これらの特徴を統合することでリアルタイムに対象者の状態変化を把握することが可能になる．これまでの研究成果として，日本機械学会において発表を行っている．また，国際会議BalkanCom2022，および国際会議HCII2023においての成果報告を行っている．さらに，本課題において，関連するその他の研究成果も国際会議論文3編を発表している．

令和4年度は在宅介護において，主にA. 観察対象を区別する対話型エッジ顔識別システムの検討 B. 非言語情報に基づく対象者の日常必要な見守りの認識手法の検討を行った．具体的な検討内容として，まず，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を検討している．そのため，システム構成である (1)既存データの読み込みと特徴抽出 (2)新たな学習データの取得と特徴抽出 (3) 既存データと学習データの特徴比較 (4)識別結果に基づくエージェント対話，4つについて提案をしている．その結果，ユーザのプライバシー課題とデータを学習・関連するプロセス，およびシステム導入容易性を改善することが可能になったと言える．また，識別できた対象者に対し，日常必要な見守り（介護コンテキストと呼ぶ）の認識手法を検討している．USB定点カメラから取得したライブ画像をTensorFlowの事前学習済みモデルに入力し，時系列上で出力された画像内の人間の位置ごとに，非言語情報 (顔，骨格，手の特徴点の2D座標など) の特徴を用いて学習・分類を行っている．これらの特徴を統合することでリアルタイムに対象者の状態変化を把握することが可能になる．これまでの研究成果として，日本機械学会において発表を行っている．また，国際会議BalkanCom2022，および国際会議HCII2023においての成果報告を行っている．さらに，本課題において，関連するその他の研究成果も国際会議論文3編を発表している．