Implementing Home Care Assistant System Understanding Intentions and Minds

实施家庭护理助理系统了解意图和想法

• 批准号: 22J13217
• 负责人: 陳 思楠
• 金额: $ 1.41万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-22 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22J13217/
• 关键词: コンピュータビジョン; 事前学習済みモデル; 介護コンテキスト; 非言語情報; 支援技術; スマートヘルスケア

令和4年度は在宅介護において，主にA. 観察対象を区別する対話型エッジ顔識別システムの検討 B. 非言語情報に基づく対象者の日常必要な見守りの認識手法の検討を行った．具体的な検討内容として，まず，ユーザとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較を検討している．そのため，システム構成である (1)既存データの読み込みと特徴抽出 (2)新たな学習データの取得と特徴抽出 (3) 既存データと学習データの特徴比較 (4)識別結果に基づくエージェント対話，4つについて提案をしている．その結果，ユーザのプライバシー課題とデータを学習・関連するプロセス，およびシステム導入容易性を改善することが可能になったと言える．また，識別できた対象者に対し，日常必要な見守り（介護コンテキストと呼ぶ）の認識手法を検討している．USB定点カメラから取得したライブ画像をTensorFlowの事前学習済みモデルに入力し，時系列上で出力された画像内の人間の位置ごとに，非言語情報 (顔，骨格，手の特徴点の2D座標など) の特徴を用いて学習・分類を行っている．これらの特徴を統合することでリアルタイムに対象者の状態変化を把握することが可能になる．これまでの研究成果として，日本機械学会において発表を行っている．また，国際会議BalkanCom2022，および国際会議HCII2023においての成果報告を行っている．さらに，本課題において，関連するその他の研究成果も国際会議論文3編を発表している．

Ling and 4 years in the house to protect the quality of life, the main A. If you look at the image, you can tell the difference between the two groups, and the difference between the two groups. It is necessary for non-verbal practitioners to observe the practice of knowledge and knowledge on a daily basis. the specific content of the game is related to the content of the game, the content of the speech, the sound of the sound, the automatic generation of the sound, the learning in advance, the use of the equipment, the quality of the equipment, the quality of the equipment, and the quality of the equipment. The main results are as follows: (1) the special extraction of the existing medical records (1) the special extraction of the existing medical records. (2) the special extraction of the existing medical records. (3) the comparison of the characteristics of the existing medical college students. (4) the results of the four-year-old health education proposal. We need to learn how to improve the ease of entry, to improve the tolerance, and to improve the tolerance. On a daily basis, it is necessary to observe the art of knowledge and practice. USB fixed-point camera to get a picture of the TensorFlow, learn to do it in advance, and make an effort on the series to make sure that the position of the person in the portrait is too tight, non-verbal love. In this paper, we use the special information system to classify the information of the computer, and to make sure that it is possible to improve the quality of the study. the results of the research, the table of the Japan Mechanical Machinery Society, the table of the Japan Mechanical Machinery Association, the international meeting of the BalkanCom2022. The report on the results of the International Conference on HCII2023

项目成果

Study of Multi-Modal Diary Service Using Spoken Dialogue Agent for Self-Care in Elderly People

• DOI: 10.1109/icoseit55604.2022.10029995
• 发表时间: 2022-11
• 期刊: 2022 1st International Conference on Software Engineering and Information Technology (ICoSEIT)
• 作者: Sinan Chen;Masahide Nakamura

Developing a Facial Identification System Using Pre-Trained Model and Spoken Dialogue Agent

使用预训练模型和语音对话代理开发面部识别系统

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura
• 通讯作者: Sinan Chen,Masahide Nakamura

Quantitative Expression of Elderly Multi-Modal Emotions with Spoken Dialogue Agent and Edge AI

利用语音对话智能体和边缘人工智能定量表达老年人多模态情绪

• 发表时间: 2023
• 作者: Tomoyuki Ito;Thuy Duong Nguyen;Yutaka Saito;Yoichi Kurumida;Hikaru Nakazawa;Sakiya Kawada;Hafumi Nishi;Koji Tsuda;Tomoshi Kameda;Mitsuo Umetsu.;Sinan Chen,Masahide Nakamura,Kenji Sekiguchi;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda
• 通讯作者: Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda

Integrating Multiple Dialogue Agents Using {WebRTC} for Facilitating Elderly Mutual-Aid at Home

利用{WebRTC}整合多个对话代理，方便老人居家互助

• 发表时间: 2022
• 作者: Kagawa Takuhiro;Saiki Sachio;Nakamura Masahide;岡本大,陳思楠,中村匡秀;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;大薗隼人,陳思楠,中村匡秀;Sinan Chen,Hayato Ozono,Masahide Nakamura,Kiyoshi Yasuda;中田 匠哉,陳 思楠,佐伯幸郎,中村 匡秀;寺川 航平,陳 思楠,佐伯幸郎,中村 匡秀;堀江 寛,陳 思楠,中村 匡秀,安田 清;金田真輝,陳思楠,佐伯幸郎,中村匡秀;吉田健,陳思楠,佐伯幸郎,中村匡秀;田坂風月,陳思楠,佐伯幸郎,中村匡秀;定光郁斗,陳思楠,佐伯幸郎,中村匡秀;松場建都,佐伯幸郎,中村匡秀;中村匡秀;陳思楠,中村匡秀,関口兼司;Sinan Chen,Hayato Ozono,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Takuya Nakata,Tasuku Watanabe,Sinan Chen,Masahide Nakamura;Hayato Ozono,Sinan Chen,Masahide Nakamura;Yuko Yamaguchi,Zhang Xuanrong,Sonoko Kabaya,Masahide Nakamura,Chieko Greiner;Takumi Akashi,Masahide Nakamura,Kiyoshi Yasuda,Sachio Saiki;Kohei Terakawa,Sinan Chen,Masahide Nakamura;Hiro Horie,Sinan Chen,Masahide Nakamura,Kiyoshi Yasuda;Aoi Nagatani,Sinan Chen,Masahide Nakamura;Tomoro Nakahashi,Sinan Chen,Masahide Nakamura;Sinan Chen,Masahide Nakamura;陳思楠,中村匡秀;蒲谷苑子,グライナー智恵子,中村匡秀,山口裕子,張?容;Sinan Chen,Masahide Nakamura
• 通讯作者: Sinan Chen,Masahide Nakamura

A Study for Estimating Caregiving Contexts Based on Extracting Nonverbal Information from Elderly People at Home

基于提取家中老年人非语言信息估计护理情境的研究

• 发表时间: 2023
• 作者: Sinan Chen;Masahide Nakamura;and Kiyoshi Yasuda
• 通讯作者: and Kiyoshi Yasuda