自然言語に紐づいて構造化された表現に基づく画像生成基盤の確立

建立基于与自然语言相联系的结构化表达的图像生成平台

• 批准号: 21K17806
• 负责人: 品川 政太朗
• 金额: $ 3万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17806/
• 关键词: 構造化された表現; 対話システム; 自然言語処理; Vision and Language; Visual Dialog; Transformer; text-to-image; 画像生成; 深層学習

2022年度は、国際会議１件、国内学会発表2件を行った。国際会議発表１件は、自然言語で構造化された表現による対話型推薦システムの研究である。アイテムの説明文を特徴量抽出した推薦アイテムの表現をジャンルごとに足し合わせた表現をジャンルの表現とすることで階層的な表現を構築し、システム利用者が潜在的に興味を持つアイテムも推薦できる可能性を示唆する結果を得られた。本手法は、画像生成においても、自然言語による構造化された表現の関係性によって、テキストに含まれない潜在的情報を検知できることを期待できる結果を得られたと言える。国内学会発表の１件目は、言語モデルへの条件付けとなる情報の選択方法に関する研究である。本研究では、文により指定される個性を反映させる対話システムの文脈において、文レベルと名詞レベルの類似度による情報選択手法を比較し、名詞レベルの類似度が効果的である可能性を示した。自然言語に紐づけられた画像生成は短い言語記述では画像のすべてを説明することが困難であるという問題を抱えており、不足する情報をどのように補うかが鍵になる。本研究の知見は、限られた記述文から構造化された言語表現を得るために文レベルの類似度と名詞レベルの類似度を使い分けるといった応用に利用できる可能性がある。国内学会発表の2件目は、機械が人間に何度か質問を行い、画像中の指定された物体を当てる課題において、人間のミスにより物体当てが失敗した場合に、人間に間違いを指摘する方法の提案である。人間の指示が目標と異なるという状況は自然言語に紐づく画像生成にも考えられるため、自然言語に紐づけられた画像生成基盤に取り入れる必要のある機能であると考えられる。

In 2022, there were を, 1 international conference and 2 domestic academic conference schedules, を events and った. One international conference schedule, natural language で structured された performance による conversational type recommendation システム <s:1> research である. ア イ テ ム の exposition を, 徴 quantity spare し た recommended ア イ テ ム の performance を ジ ャ ン ル ご と に foot し close わ せ た performance を ジ ャ ン ル の performance と す る こ と で class な を build し, シ ス テ ム ik が potential interests を hold つ に ア イ テ ム も recommended で き を る possibility in stopping す る results ら を れ た. This technique は, portrait に お い て も, natural speech に よ る structured さ れ た performance の masato is sexual に よ っ て, テ キ ス ト に containing ま れ な い potential intelligence を 検 know で き る こ と を expect で き る results ら を れ た と said え る. Domestic academic societies have issued one project, which involves する, language モデ へ へ へ, <s:1> conditions, けとなる information, 択 methods, に, and する research である. This study で は, に よ り specified さ れ る を reflect personality さ せ る words シ seaborne ス テ ム の context に お い て, レ ベ ル と noun レ ベ ル の similar degrees に よ る intelligence sentaku gimmick を compare し, nouns レ ベ ル の similar degrees が unseen fruit で あ を る possibility in し た. Natural speech に new づ け ら れ た portraits generate short は い words account で は portrait の す べ て を illustrate す る こ と が difficult で あ る と い う problem を embrace え て お り, insufficient す る intelligence を ど の よ う に fill う か が key に な る. の see は, this study limit ら れ た account article か ら structured さ れ た speech performance を る た め に article レ ベ ル の similar degrees と noun レ ベ ル の similar degrees を make い け る と い っ た 応 with に using で き る possibility が あ る. Domestic society 発 table 2 の mesh は, mechanical が human に how か questioned を い, the portrait の specified さ れ を た object when て る subject に お い て, human の ミ ス に よ り objects when て が failure し た に, breach between human に い を blame す る method proposed の で あ る. Human の instructions が target と different な る と い う condition は natural speech に new づ く portraits generate に も exam え ら れ る た め, natural speech に new づ け ら れ た portraits generate base plate に take り れ る necessary の あ る function で あ る と exam え ら れ る.

项目成果

視覚情報に基づくタスク指向型対話における人間の返答に対する間違い指摘の検討

基于视觉信息的任务导向对话中人类反应错误的指出研究

• 发表时间: 2023
• 作者: Kazuki Kohyama;Takahiro Tsukahara;Keiichi Tamai;Masaki Sano;荒川深映（この発表者と綱島は共同第一著者）;大島遼祐（この発表者と綱島は共同著者）;大島遼祐（この発表者と綱島は共同著者）
• 通讯作者: 大島遼祐（この発表者と綱島は共同著者）

Vision and Languageと分野を取り巻く深層学習手法の紹介

围绕视觉和语言及其领域的深度学习方法介绍

• 发表时间: 2021
• 作者: 大島遼祐;品川政太朗;綱島秀樹;森島繁生;品川政太朗
• 通讯作者: 品川政太朗

Modeling Multiple User Interests using Hierarchical Knowledge for Conversational Recommender System

• DOI: 10.48550/arxiv.2303.00311
• 发表时间: 2023-03
• 期刊: ArXiv
• 作者: Y. Okuda;Katsuhito Sudoh;Seitaro Shinagawa;Satoshi Nakamura

ペルソナ更新型対話システムにおける効果的なペルソナ選択手法の分析

人物更新型对话系统中有效人物选择方法分析

• 发表时间: 2023
• 作者: 吉田快;品川政太朗;須藤克仁;中村哲
• 通讯作者: 中村哲

Transformerの変遷と発展

Transformer的转型与发展

• 发表时间: 2021
• 作者: 品川政太朗;Qiu Yue;山本晋太郎
• 通讯作者: 山本晋太郎