Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。

本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。