Investigation on the Mechanism of Gustatory Perception by Manipulation of Food Type Recognition Using VR Technology

利用 VR 技术操纵食物类型识别来研究味觉感知机制

• 批准号: 20J21546
• 负责人: 中野 萌士
• 金额: $ 1.6万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J21546/
• 关键词: Virtual Reality; Head-Mounted Display; 味覚; 食事; 下方視野; Augmented Reality

今年度は主に2テーマについて研究を実施した．1つ目のテーマはVirtual Reality(VR)空間における食体験の構築を目的としたテーマである．我々は視覚変調による味覚操作を行うために，食品の外見を拡張現実で変化させていたが，食品の周囲の環境外見を変化させる視覚変調手法でも味覚操作が行えると考えた． Head-Mounted Display (HMD)を用いて食品の周囲の環境外見を変化させる事ができるが，HMDを装着したままでは現実の食品を視認することができない．この問題に対して，我々は機械学習を用いて食品の領域を検出し，食品領域のみをVR空間に重畳するアプリケーションを開発した．実験では，食品の領域のみを表示する提案手法がVR空間の臨場感や食品を食べる際の食べやすさを保持することを示した．一方，味や風味に与える影響は確認されなかった．これらの結果を人とコンピュータの相互作用がテーマのトップカンファレンスであるSIGCHIで発表した．2つ目は口元付近に視覚情報提示を可能にする下方視野を拡大したVideo See-Through(VST)型HMDの開発に関するテーマである．従来研究では食品の外見変化によって味覚操作可能であることが示されていた．しかしながら，HMDの垂直方向の視野角の制限によって口元付近に食品が移動した場合に食品を視認でないため，味を感じる瞬間に視覚変調が行えないという問題があった．そこで，既存のHMDの垂直下方向に新しい光学系を追加したVST-HMDを開発し，口元付近に対する視覚変調が味覚操作の効果量や食べやすさに影響を与えるかどうかを検証した．実験の結果，効果量や食べやすさに影響を与える傾向は確認できなかったが，口元付近に対する視覚情報提示を行うためのシステムを構築できた．これらの成果を国内会議で発表した．

This year, we are responsible for the implementation of this year's research. 1. The Virtual Reality (VR), the space food, the body, the food, the food. Head-Mounted Display (HMD) uses overseas information on food products. HMD installs information on food products, food products, food, food, food, In the field of food, VR, space, food, food, The results show that there is no significant difference between the two groups. The results show that there is no significant difference between the two groups. The results show that there is a significant difference between the two groups in the SIGCHI table. 2% of the data indicates that it is possible to open a wide range of Video See-Through (VST) type of HMD under the table. It is possible to study the operation of food products in terms of taste and taste. The vertical direction of the HMD camera restricts the movement of food products to the food industry. It is recognized that the food products are not safe, and the taste of the food products is affected in an instant. The existing HMD equipment vertical down direction makes the new department of optics pay more attention to the VST-HMD program. In the operation of the operation, the results show that the results show that the results are in good agreement with the results of the operation. The results show that the results indicate that the results indicate that the results of the operation are not accurate.

项目成果

A Study on Persistence of GAN-Based Vision-Induced Gustatory Manipulation

• DOI: 10.3390/electronics10101157
• 发表时间: 2021-05-01
• 期刊: ELECTRONICS
• 影响因子: 2.9
• 作者: Nakano, Kizashi;Horita, Daichi;Narumi, Takuji
• 通讯作者: Narumi, Takuji

垂直下方向の視野を拡大したヘッドマウントディスプレイはプレゼンスと自己位置感覚を向上させる

具有扩展垂直视野的头戴式显示器可提高自我定位的临场感和感觉

• 发表时间: 2022
• 作者: A. Ishibashi;H. Hidaka;Y. Oba;A. Kouchi;N. Watanabe;中野 萌士
• 通讯作者: 中野 萌士

A Video See-through Food Overlay System for Eating Experience in the Metaverse

用于虚拟宇宙饮食体验的视频透视食物覆盖系统

• 发表时间: 2022
• 作者: Naoe;T.;Okimura;T.;Iwabuchi;T.;Kiyama;S.;& Makuuchi;M.;Kizashi Nakano
• 通讯作者: Kizashi Nakano

下方視野を拡大したヘッドマウントディスプレイが食べやすさやクロスモーダル効果に与える影響

向下扩展视野的头戴式显示器对进食便利性和跨模式效应的影响

• 发表时间: 2022
• 期刊: 日本VR学会大会論文集
• 作者: Hayakawa Kentaro;Ohsaki Makoto;中野 萌士,モニカ ペルスキア エルナンデス,磯山 直也,内山 英昭,清川 清
• 通讯作者: 中野 萌士,モニカ ペルスキア エルナンデス,磯山 直也,内山 英昭,清川 清

Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse

Ukemochi：用于虚拟宇宙中饮食体验的视频透视食物覆盖系统

• DOI: 10.1145/3491101.3519779
• 发表时间: 2022
• 期刊: CHI Conference on Human Factors in Computing Systems Extended Abstracts
• 作者: Yamakawa Koichiro;Ishibashi Atsuki;Namiyoshi Toshinobu;Azuma Yuichi;Arakawa Ichiro;Kizashi Nakano,Daichi Horita,Naoya Isoyama,Hideaki Uchiyama,Kiyoshi Kiyokawa
• 通讯作者: Kizashi Nakano,Daichi Horita,Naoya Isoyama,Hideaki Uchiyama,Kiyoshi Kiyokawa