Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes

利用空间化音频增强现实来生成位置相关的音景

• 批准号: 22K12274
• 负责人: SIRIARAYA PANOTE
• 金额: $ 2.41万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12274/
• 关键词: AR; 立体音響; 機械学習; モバイルコンピューティング; 情報推薦; eラーニング; 拡張現実; 推薦システム

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。

は, this study ユ ー ザ の position now に masato す る intelligence を サ ウ ン ド ス ケ ー プ (" sound landscape "や" soundscape "な ど と 訳 さ れ concept る) と し て generated し space, movable type high の い forfeiture を provide で き る stereo AR を be presently す る こ と が purpose で あ る. そ し て, そ の stereo AR の サ ウ ン ド ス ケ ー プ を outside ス ポ ッ ト に masato even す る の textbook knowledge を body 験 may な ユ ビ キ タ ス learning シ ス テ ム や location intelligence pay き SNS に よ り human activity の sound が smell こ え る social な presence を raised や す 観 light support シ ス テ ム な ど の ユ ー ス ケ ー ス で 検 card す る. Now の research be performance に masato し て, す で に オ ー プ ン ウ ェ ブ デ ー タ と SNS デ ー タ を use し て, あ る の の places in the city geospatial の features (あ る city street to の person 々 が table す feelings と action) を spare で き る others 々 な ア ル ゴ リ ズ ム を open 発 し て be 験 を line っ た. ま た, general の ス マ ー ト フ ォ ン に お い て も, town に step き な が ら, 仮 think human や others の presence を feeling じ さ せ る stereo の AR open space を 発 し て い た. Finally に ユ ー ザ の now の な characteristics of geographical を も と に English education in の Aeseop monogatari を generated し て sounds で language る シ ス テ ム を open 発 し た (example え ば, zhou り の places に shrine, sichuan が い た ら, "throat の 渇 い た カ ラ ス が poor water か ら drink water を み た い が, hand the が か な く て, nearly く の shrine の sage の monk か ら stone を も ら て, そ の stone を a つ ず つ fall と し て い っ た ら, や が て drink water を め る と "い う monogatari が generated さ れ る). Generated た た story とそ た システムを Kyoto で Yuki experimental を shop った. Currently, タ タ を <s:1> middle school <s:1> student と evaluation 価 practical experience を practical application て て る る. Youdaoplaceholder0 それら Research achievements <e:1> a が international academic 雑 journal や society に interviews 択された.

项目成果

Investigating the use of Spatialized Audio Augmented Reality to enhance the outdoor running experience

研究使用空间化音频增强现实来增强户外跑步体验

• DOI: 10.1016/j.entcom.2022.100534
• 发表时间: 2023
• 期刊: Entertainment Computing
• 影响因子: 2.8
• 作者: Siriaraya Panote;Kiriu Takumi;She Wan Jou;Mittal Mohit;Kawai Yukiko;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke

A Detection System for Comfortable Locations Based on Facial Expression Analysis While Riding Bicycles

基于骑行时面部表情分析的舒适位置检测系统

• DOI: 10.1145/3543873.3587371
• 发表时间: 2023
• 期刊: Companion Proceedings of the ACM Web Conference 2023
• 作者: Yamaguchi Ryuta;Siriaraya Panote;Yoshihisa Tomoki;Shimojo Shinji;Kawai Yukiko
• 通讯作者: Kawai Yukiko

Palm Happiness: A Location-Based Application to Promote Awareness of Everyday Happy Moments

掌上幸福：一款基于位置的应用程序，旨在提高人们对日常幸福时刻的认识

• DOI: 10.1145/3528575.3551432
• 发表时间: 2022
• 期刊: Adjunct Publication of the 24th International Conference on Human-Computer Interaction with Mobile Devices and Services
• 作者: Siriaraya Panote;Suzuki Kenta;She Wan Jou;Tanaka Ryotaro;Li Da;Narumoto Jin;Kuwahara Noriaki;Sumiya Kazutoshi;Nakajima Shinsuke
• 通讯作者: Nakajima Shinsuke