実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境

具有真实声音用户界面的实时指令开发环境

• 批准号: 22H03625
• 负责人: 高橋 伸
• 金额: $ 11.15万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03625/
• 关键词: サウンドUI

今年度は「リアルタイムサウンドインストラクション（以下，RSI）のデザインと体系化」及び「RSI を作業状況・動作に同期させる機構」について重点的に研究を開始した．「RSI のデザインと体系化」については，今年度は既存の音楽の音量やテンポを加工する方法を検討し調査した．前者については，トレーニング中の姿勢の角度を音量と結びつけることで，その正しさ等の情報を伝えることを試みた．ユーザ実験を行ったところ，ユーザに姿勢情報を一定程度伝えることができたことが確認できた．また，伝達された情報がユーザに対するフィードバックとして作用し，ユーザのモチベーション向上につながる可能性を確認できた．後者については，複数人の平均動作リズムを動的に計算して提示する手法を実装し予備的評価を行った．実験結果は実験参加者のグループにより効果が異なっていたが，うまく用いるとやはり参加者のモチベーション向上につながる可能性が確認された．「RSI を作業状況・動作に同期させる機構」については，今年度は人間行動認識(HAR)の各種技術を調査を開始した．その中でも，行動や動作を元に少し先の姿勢を予測する方法に着目した．現在の姿勢認識に基づいてフィードバックを行う方法では必然的に遅れが発生する．適切なタイミングでフィードバックを行うためには，少し先の姿勢を予測し，その姿勢の評価に基づいてフィードバックを行う方法に利点があると期待できる．また，もう一つの研究項目である「RSI のシナリオベース開発環境」についても，これまでにビジュアルプログラミングの手法を用いて，認識結果と音出力を対応づける環境の試作を行うことができた．

Our は "リ ア ル タ イ ム サ ウ ン ド イ ン ス ト ラ ク シ ョ ン (RSI), at the の デ ザ イ ン と systemization" and び "RSI を operation conditions, the same period action に さ せ る institutions" に つ い て key を に research began し た. "RSI の デ ザ イ ン と systemization" に つ い て は, our は existing の sound joy の volume や テ ン ポ を processing す る method を beg し 検 survey し た. The former に つ い て は, ト レ ー ニ ン グ の in posture Angle の を volume と knot び つ け る こ と で, そ の is し さ etc. の intelligence を 伝 え る こ と を try み た. Line ユ ー ザ be 験 を っ た と こ ろ, ユ ー ザ に posture intelligence を part 伝 え る こ と が で き た こ と が confirm で き た. ま た, 伝 さ れ た intelligence が ユ ー ザ に す seaborne る フ ィ ー ド バ ッ ク と し て し, ユ ー ザ の モ チ ベ ー シ ョ ン upward に つ な が る possibility を identify で き た. The latter に つ い て は, plural の average action リ ズ ム を moving に computing し て prompt す る gimmick を be loaded し to prepare the review 価 を line っ た. Be は 験 results be 験 participants の グ ル ー プ に よ り unseen fruit が different な っ て い た が, う ま く with い る と や は り participants の モ チ ベ ー シ ョ ン upward に つ な が る possibility が identify さ れ た. "RSI を operation conditions, the same period action に さ せ る institutions" に つ い て は, our は "human action to know (HAR) の various technical を を start し た. そ の in で も, action や movement を yuan less に し first の を posture to measure す る method with mesh し に た. Now の posture know に づ い て フ ィ ー ド バ ッ ク を line う method で は inevitable に 遅 れ が 発 raw す る. Appropriate な タ イ ミ ン グ で フ ィ ー ド バ ッ ク を line う た め に は, less し し の を posture to test first, そ の の posture review 価 に base づ い て フ ィ ー ド バ ッ ク を line う method に tartness が あ る と expect で き る. ま た, も う a つ の research project で あ る "RSI の シ ナ リ オ ベ ー ス 発 environment" に つ い て も, こ れ ま で に ビ ジ ュ ア ル プ ロ グ ラ ミ ン グ の gimmick を with い て, know the results と sound output を 応 seaborne づ け る environment の attempt を line う こ と が で き た.

项目成果

Pose visualization and feedback system based on pose prediction

基于姿态预测的姿态可视化和反馈系统

• 发表时间: 2023
• 期刊: 情報処理学会第85回全国大会
• 作者: 黄 佳贇;高橋 伸
• 通讯作者: 高橋 伸

動作リズムの平均を提示する多人数トレーニング支援手法

呈现平均动作节奏的多人训练支持方式

• 发表时间: 2023
• 期刊: 第27回 一般社団法人情報処理学会シンポジウム（インタラクション2023）
• 作者: WANG RUIYUN;LI MIAO;HUANG JIAYUN;高橋 伸
• 通讯作者: 高橋 伸

サウンドインタラクション開発支援の環境設計

支持良好交互发展的环境设计

• 发表时间: 2022
• 期刊: 第30回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2022）
• 作者: 坂田和輝;田村隼;高橋 伸
• 通讯作者: 高橋 伸

音の大きさの変化によるトレーニング支援手法の提案と評価

利用音量变化的训练支援方法的提案及评价

• 发表时间: 2022
• 期刊: 情報処理学会第199回HCI研究会
• 作者: 王瑞贇;高橋 伸
• 通讯作者: 高橋 伸