任意ツールでのデザイン支援のためのGANを用いたサンプル模倣フレームワーク

使用 GAN 的示例模仿框架通过任意工具提供设计支持

• 批准号: 22KJ0353
• 负责人: 矢倉 大夢
• 金额: $ 0.83万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0353/
• 关键词: 生産性支援; 機械学習; ヒューマンコンピュータインタラクション; 創作支援; 深層学習

本研究では機械学習モデルを、一般のユーザがより直観的にかつ創造的に使えるようになることを目指し、新たなシステムの開発やフレームワークの提示を行ってきた。特に本年度は、前年度までに得られた結果を元にして、ユーザが様々なコンテンツ生成技術や探索技術を活用できるよう、その応用範囲を拡大していくことに取り組んだ。具体的には、前年度に主な対象としていた画像ドメインからターゲットを広げ、音楽や言語などの幅広いメディアを対象に研究を行った。例えば、音楽については、ユーザの作業状況に適したBGMの提示を可能とする楽曲推薦システムを提案し、User Modeling and User-Adapted Interactionsに論文が採録された。これは、作業に集中するためには「とても好き」な音楽ではなく「好きでも嫌いでもない」音楽を聞くのが良いと知られている一方で、人間にとって「とても好き」な音楽を挙げるのは容易でも「好きでも嫌いでもない」音楽を挙げるのは難しいのに対し、機械学習モデルにとっては「とても好き」な音楽より「好きでも嫌いでもない」音楽の方が挙げやすいという点に基づいている。他にも、最新の機械翻訳モデル等を組み合わせることによって、言語学習中のユーザを対象に覚えたい単語の例文を日常生活の文脈に沿う形で生成し、Mixed Reality等も活用しながら提示することで学習効果を高めるシステムを提案した。これも、コンテンツ生成技術を新たな形で応用するシナリオを提示するものであり、関連する論文がACM CHI 2022に採択された。

This study で は rote learning モ デ ル を, general の ユ ー ザ が よ り straight 観 に か つ create に make え る よ う に な る こ と を refers し, new た な シ ス テ ム の open 発 や フ レ ー ム ワ ー ク の tip line を っ て き た. Special に は this year, before the year ま で に must ら れ た results を yuan に し て, ユ ー ザ が others 々 な コ ン テ ン ツ generation や exploration technologies を use で き る よ う, そ の 応 with van 囲 を company, big し て い く こ と に group take り ん だ. Specific に は, annual に な Lord like と seaborne し て い た portrait ド メ イ ン か ら タ ー ゲ ッ ト を hiroo げ, joy や words な ど の picture hiroo い メ デ ィ ア を like に seaborne を line っ た. Example え ば, joy に つ い て は, ユ ー ザ の situations に optimum し た BGM の suggest possible を と す る joy song recommend シ ス テ ム を proposal し, User Modeling and the User - Adapted Interactions に paper が transcribing さ れ た. こ れ は, homework に concentrated す る た め に は "と て も き" な sound joy で は な く "good き で も too い で も な い" sound joy を smell く の が good い と know ら れ て い る で, human に と っ て "と て も き" な sound joy を 挙 げ る の は easy で も "good き で も too い で も な い" sound joy を 挙 げ る の は difficult し い の に モ し seaborne, mechanical learning デ ル に と っ て は "と て も き" な sound joy よ り "good き で も too い で も な い" sound joy の party が 挙 げ や す い と い う に base づ い て い る. He に も, latest の machinery turn 訳 モ デ ル を groups such as み close わ せ る こ と に よ っ て, verbal learning の ユ ー ザ を like に seaborne 覚 え た い 単 language の herewith を の context に daily life along the う form で generated し, Mixed Reality も use し な が ら prompt す る こ と で learning services high を め る シ ス テ ム を proposal し た. こ れ も, コ ン テ ン ツ generation を new た な form で 応 with す る シ ナ リ オ を prompt す る も の で あ り, masato す る paper が ACM CHI 2022 に mining 択 さ れ た.

项目成果

An automated system recommending background music to listen to while working

• DOI: 10.1007/s11257-022-09325-y
• 发表时间: 2022-05
• 期刊: User Modeling and User-Adapted Interaction
• 影响因子: 3.6
• 作者: Hiromu Yakura;Tomoyasu Nakano;Masataka Goto

BeParrot: Efficient Interface for Transcribing Unclear Speech via Respeaking

BeParrot：通过复述转录不清楚语音的高效界面

• DOI: 10.1145/3490099.3511164
• 发表时间: 2022
• 期刊: Proceedings of the 27th ACM International Conference on Intelligent User Interface
• 作者: Riku Arakawa;Hiromu Yakura (equal contribution);and Masataka Goto
• 通讯作者: and Masataka Goto

Self-Supervised Contrastive Learning for Singing Voices

歌声的自我监督对比学习

• DOI: 10.1109/taslp.2022.3169627
• 发表时间: 2022
• 期刊: IEEE/ACM Transactions on Audio, Speech, and Language Processing
• 作者: Hiromu Yakura;Kento Watanabe;Masataka Goto
• 通讯作者: Masataka Goto

Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics

• DOI: 10.24963/ijcai.2021/167
• 发表时间: 2021-05
• 作者: Hiromu Yakura;Yuki Koyama;Masataka Goto