Implementing Home Care Assistant System Understanding Intentions and Minds

实施家庭护理助理系统了解意图和想法

• 批准号: 22J13217
• 负责人: 陳 思楠
• 金额: $ 1.41万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-22 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22J13217/
• 关键词: コンピュータビジョン; 事前学習済みモデル; 介護コンテキスト; 非言語情報; 支援技術; スマートヘルスケア

令和4年度は在宅介護において，主にA. 観察対象を区別する対話型エッジ顔識別システムの検討 B. 非言語情報に基づく対象者の日常必要な見守りの認識手法の検討を行った．具体的な検討内容として，まず，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を検討している．そのため，システム構成である (1)既存データの読み込みと特徴抽出 (2)新たな学習データの取得と特徴抽出 (3) 既存データと学習データの特徴比較 (4)識別結果に基づくエージェント対話，4つについて提案をしている．その結果，ユーザのプライバシー課題とデータを学習・関連するプロセス，およびシステム導入容易性を改善することが可能になったと言える．また，識別できた対象者に対し，日常必要な見守り（介護コンテキストと呼ぶ）の認識手法を検討している．USB定点カメラから取得したライブ画像をTensorFlowの事前学習済みモデルに入力し，時系列上で出力された画像内の人間の位置ごとに，非言語情報 (顔，骨格，手の特徴点の2D座標など) の特徴を用いて学習・分類を行っている．これらの特徴を統合することでリアルタイムに対象者の状態変化を把握することが可能になる．これまでの研究成果として，日本機械学会において発表を行っている．また，国際会議BalkanCom2022，および国際会議HCII2023においての成果報告を行っている．さらに，本課題において，関連するその他の研究成果も国際会議論文3編を発表している．

In the fourth year of the year, he was in the middle of the house. A. Observation of the image difference between the two types of speech recognition system B. Non-verbal information is essential to the daily needs of the target audience. Specific search content is displayed, and the search results are automatically generated. The search results are obtained by comparing the search results with the search results. (1) Feature extraction of existing data (2) Feature extraction of new data (3) Feature comparison of existing data and learning data (4) Base on identification results (4) Proposal extraction. As a result of this, the problem of the To identify the object, daily necessary to observe the image (medium temperature and call) recognition method to discuss.USB fixed point to obtain the image of TensorFlow in advance learning method input force, time series on the output of the image of the human position, non-verbal information (face, bone, hand feature point 2D coordinates) features to use in learning·classification. The characteristics of the object are integrated into the state of the object. The research results of this field have been published by the Japan Society of Mechanical Engineering. International Conference BalkanCom2022, International Conference HCII2023 and Results Report In this paper, we present the related research results and the third edition of international conference papers.

项目成果

Study of Multi-Modal Diary Service Using Spoken Dialogue Agent for Self-Care in Elderly People

• DOI: 10.1109/icoseit55604.2022.10029995
• 发表时间: 2022-11
• 期刊: 2022 1st International Conference on Software Engineering and Information Technology (ICoSEIT)
• 作者: Sinan Chen;Masahide Nakamura

Developing a Facial Identification System Using Pre-Trained Model and Spoken Dialogue Agent

使用预训练模型和语音对话代理开发面部识别系统

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura
• 通讯作者: Sinan Chen,Masahide Nakamura

Quantitative Expression of Elderly Multi-Modal Emotions with Spoken Dialogue Agent and Edge AI

利用语音对话智能体和边缘人工智能定量表达老年人多模态情绪

• 发表时间: 2023
• 作者: Tomoyuki Ito;Thuy Duong Nguyen;Yutaka Saito;Yoichi Kurumida;Hikaru Nakazawa;Sakiya Kawada;Hafumi Nishi;Koji Tsuda;Tomoshi Kameda;Mitsuo Umetsu.;Sinan Chen,Masahide Nakamura,Kenji Sekiguchi;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda
• 通讯作者: Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda

Integrating Multiple Dialogue Agents Using {WebRTC} for Facilitating Elderly Mutual-Aid at Home

利用{WebRTC}整合多个对话代理，方便老人居家互助

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura;陳思楠,中村匡秀;蒲谷苑子,グライナー智恵子,中村匡秀,山口裕子,張?容;Sinan Chen,Masahide Nakamura
• 通讯作者: Sinan Chen,Masahide Nakamura

A Study for Estimating Caregiving Contexts Based on Extracting Nonverbal Information from Elderly People at Home

基于提取家中老年人非语言信息估计护理情境的研究

• 发表时间: 2023
• 作者: Sinan Chen;Masahide Nakamura;and Kiyoshi Yasuda
• 通讯作者: and Kiyoshi Yasuda