Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes

利用空间化音频增强现实来生成位置相关的音景

• 批准号: 22K12274
• 负责人: SIRIARAYA PANOTE
• 金额: $ 2.41万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12274/
• 关键词: AR; 立体音響; 機械学習; モバイルコンピューティング; 情報推薦; eラーニング; 拡張現実; 推薦システム

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。

The purpose of this research is to provide information about the user's current location (the concepts of "soundscape" and "soundscape") and to generate and implement stereo AR to provide a highly mobile immersive space. In addition, the knowledge of textbooks related to stereo AR and outdoor communication can be obtained through communication, learning and location information, SNS, audio and social communication, and the presence of light support system can be enhanced. The present research is related to the development and implementation of the geospatial characteristics of urban places (e.g., the expression and behavior of people in urban areas). In general, the AR space of stereo sound is opened up in the middle of the city, in the middle of the city, and in the middle of the city. Finally, the geographical characteristics of the present place are discussed in detail, and the Aeseop language for English education is generated and the sound language is developed.(For example, Kyoto is ready to go. The students in the middle school are now evaluated. A part of the research results of the International Academy of Sciences was published.

项目成果

Investigating the use of Spatialized Audio Augmented Reality to enhance the outdoor running experience

研究使用空间化音频增强现实来增强户外跑步体验

• DOI: 10.1016/j.entcom.2022.100534
• 发表时间: 2023
• 期刊: Entertainment Computing
• 影响因子: 2.8
• 作者: Siriaraya Panote;Kiriu Takumi;She Wan Jou;Mittal Mohit;Kawai Yukiko;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke

A Detection System for Comfortable Locations Based on Facial Expression Analysis While Riding Bicycles

基于骑行时面部表情分析的舒适位置检测系统

• DOI: 10.1145/3543873.3587371
• 发表时间: 2023
• 期刊: Companion Proceedings of the ACM Web Conference 2023
• 作者: Yamaguchi Ryuta;Siriaraya Panote;Yoshihisa Tomoki;Shimojo Shinji;Kawai Yukiko
• 通讯作者: Kawai Yukiko

Palm Happiness: A Location-Based Application to Promote Awareness of Everyday Happy Moments

掌上幸福：一款基于位置的应用程序，旨在提高人们对日常幸福时刻的认识

• DOI: 10.1145/3528575.3551432
• 发表时间: 2022
• 期刊: Adjunct Publication of the 24th International Conference on Human-Computer Interaction with Mobile Devices and Services
• 作者: Siriaraya Panote;Suzuki Kenta;She Wan Jou;Tanaka Ryotaro;Li Da;Narumoto Jin;Kuwahara Noriaki;Sumiya Kazutoshi;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke