Realization of a sense of unity in a virtual live concert system which multiple people attend via electroencephalography

通过脑电图在多人参加的虚拟现场音乐会系统中实现团结感

• 批准号: 19K12222
• 负责人: 堀江 亮太
• 金额: $ 2.91万
• 依托单位: Shibaura Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K12222/
• 关键词: 脳波; 仮想ライブ体験システム; 一体感; 脳波VRライブ; ブレイン‐コンピュータ・インターフェース

平成33（令和3）年度の研究実施状況報告書では、50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発、複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法（「クライアント型」においてβ/α 比の直近のデータに基づいて視覚効果生成を適応的に調整する手法や、「サーバ型」においてβ/α比上昇タイミングの個人差を緩和する手法）の実現、および、ライブ体験システムに用いる脳波指標の検証を計画した。これらの平成34（令和4）年度の研究計画はおおむね順調に進展した。50人が脳波で参加する複数人同時参加型仮想ライブ体験システムの開発について、ソーシャルVRサービスにおいて脳波状態を共有するシステム、演者のβ/α比 に基づき視覚効果を生成するシステム、演者と視聴者がβ/α比に基づき視覚効果を生成し共有するシステム、「クライアント型」と「サーバ型」を融合したシステム、および、複合現実を用いたライブ体験システムの開発と検証実験を行った。複数視聴者のβ/α比の変動の個人差によらず視覚効果を安定に生成する手法について、β/α比の値に基づく視覚効果生成を選択的に調整する手法を実装し、「サーバ型」において時間窓内におけるβ/α比の最大値を視聴者間で平均することでβ/α比上昇タイミングの個人差を緩和する手法の検証を行った。ライブ体験システムに用いる脳波指標の検証について、楽曲視聴中の脳波のデータベースを用いて、振幅変動を予想する手法、および、額部の単一電極で測定した脳波から感情を推定する手法の開発と検証を行った。これらの研究成果により、複数人同時参加型仮想ライブ体験システムの多様な実現方法、β/α比の個人差に適応した視覚効果生成の実現、額部で測定した脳波のβ/α比で視覚効果を生成することの有用性が示されたことに意義と重要性がある。

The report on the implementation of the study in Heisei 33 (Order 3) shows that 50 people participated in the study, and a plurality of people participated in the study simultaneously. The development of the system, the variation of the β/α ratio of the multiple viewers, and the method of generating stable results of the system were studied.(The method of adjusting the beta-alpha ratio in the direct vicinity of the base line and the method of reducing the individual difference in the beta-alpha ratio in the vertical line). The annual research plan of Heisei 34 (Order 4) is progressing in sequence. 50 people participate in the wave, a plurality of people participate in the wave simultaneously, and the wave state is shared, the beta/alpha ratio of the actor is generated, the basic visual effect is generated, and the beta/alpha ratio of the actor is generated. The development of the new system will be carried out in a timely manner. The method of generating stable visual effect by changing the β/α ratio of multiple viewers, the method of adjusting the selection of the β/α ratio, the method of generating stable visual effect, the method of adjusting the selection of the β/α ratio, the method of adjusting the maximum β/α ratio, the method of averaging the β/α ratio, the method of increasing the β/α ratio, the method of reducing the individual difference, and the method of adjusting the selection of the β/α ratio. The method of detecting and evaluating the motion of the wave in the body, the method of detecting and evaluating the motion of the wave, the method of estimating the motion of the wave, the method of detecting and evaluating the motion of the wave. The results of this research show the significance and significance of the method for realizing the multiple-mode system of multiple-mode simultaneous participation, the realization of the visual effect generation of the β/α ratio and the measurement of the β/α ratio of the frontal wave.

项目成果

Implementation of a Virtual Reality Live Concert Experience Systems Attended by 10 People via Brainwaves

通过脑电波实现 10 人参加的虚拟现实现场音乐会体验系统

• 发表时间: 2021
• 作者: Munoz Gonzalez Angel;Kobayashi Shohei;Horie Ryota
• 通讯作者: Horie Ryota

Threshold Adjustment of Beta-Alpha Ratio of EEG Signal for Generation of Visual Effects in a VR Live Concert

脑电图信号 Beta-Alpha 比率的阈值调整，用于在 VR 现场音乐会中生成视觉效果

• 发表时间: 2021
• 作者: Angel Munoz-Gonzalez;Ryota Horie
• 通讯作者: Ryota Horie

Enhancing the Sense of Unity With Performers in VR Space by Mutual Presentation of Electroencephalogram Information

通过脑电图信息的相互呈现增强VR空间中表演者的团结感

• 发表时间: 2022
• 作者: Kota Ide;Ryota Horie
• 通讯作者: Ryota Horie

仮想現実空間でのジャグリングにおいて演者が行う操作の説明が観客へ与える影響

虚拟现实空间杂耍表演者讲解杂耍操作对观众的影响

• 发表时间: 2022
• 作者: Angel Munoz-Gonzalez;Shohei Kobayashi;Ryota Horie;門田光揮，井手康太，堀江亮太;井手康太，堀江亮太
• 通讯作者: 井手康太，堀江亮太

EEG Signal Power Prediction Using DEAP Dataset

• DOI: 10.1109/iciibms55689.2022.9971594
• 发表时间: 2022-11
• 期刊: 2022 7th International Conference on Intelligent Informatics and Biomedical Science (ICIIBMS)
• 作者: Ángel Muñoz-González;Ryota Horie