Multi-modal representation learning for improving the retrieval of Ukiyo-e records

用于改进浮世绘记录检索的多模式表示学习

• 批准号: 21J15425
• 负责人: 李 康穎
• 金额: $ 0.96万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J15425/
• 关键词: マルチモーダル表現学習; 人物情報抽出; 浮世絵レコード検索; 古代文字認識; 字形検索; 距離学習

近年、美術品のデジタル化とデータベース化が急速に進展し、研究者にとって重要な資源となっている。この状況を踏まえ、本研究課題では、浮世絵レコードのメタデータと画像データを活用したマルチモーダル表現学習を導入し、浮世絵検索システムの構築などへの応用を目指して技術開発が進められている。美術品を調査する研究者には、人文学だけでなく、材料科学、物理学など、さまざまな分野の研究者も含まれる。既存の画像検索システムでは、調色や色彩、顔料を中心に研究している異なる分野の研究者が必要な記録を見つけるのが難しい場合がある。そこで、言語空間に含まれる色の人間の感覚特性と、与えられた美術品のスケッチの幾何学的特性を使用して、CLIP（Contrastive Language-Image Pre-Training）に基づくクロスモーダルマルチタスクファインチューニング方法を提案した。提案された検索フレームワークは希少な色を直感的に検索するのに効果的であり、少量のデータでテキストの説明と色情報の対応が改善されることが示され、さまざまな分野の研究者が美術品の色に関する情報を効果的に検索できるようになった。この提案された手法により、研究者は希少な色の使用例を見つけることが容易になり、美術品研究の検索支援アプリの開発が期待できる。日本文化DAに対する情報抽出技術に関しては、「日本人名辞典」からの歴史人物情報抽出においてfew-shot learning（FSL）を活用することを試みた。自動化された情報抽出技術によって、研究者が効率的に人物に関する情報を収集し、歴史的文脈を理解することが容易になった。さらに、FSLの活用により、学習データの作成コストを削減し、歴史研究のための情報抽出技術の普及を促進することが期待できる。

In recent years, the rapid development of art research and development, researchers and important resources This research topic is to introduce and use the information technology and performance learning in the field of information technology, and to guide the development of information technology. Art researchers, humanities researchers, materials science researchers, physics researchers, and experts The existing portrait system is composed of color, color and pigment. The research center is different. The researchers in different fields need to record the information. This paper proposes a new method of using CLIP (Contrastive Language-Image Pre-Training) to describe the human sensory characteristics of color and geometric characteristics of art in speech space. The proposal was made by researchers who wanted to explore the effects of color sensitivity, a small amount of color information, description, and improvement of color information. This proposal is based on a methodology that researchers are looking forward to seeing for example how color is used. This approach is easy to implement. Japanese culture DA information extraction technology related to "Japanese name dictionary" and historical people information extraction in few-shot learning (FSL) Automatic information extraction technology makes it easy for researchers to collect information about people and understand historical contexts. In this paper, the use of FSL, the creation of learning tools, the promotion of the popularization of information extraction technology, historical research and so on are expected.

项目成果

『日本人名辞典』からの歴史人物情報の抽出： Few-shot学習による古文の固有表現抽出の試み

从“日本人名词典”中提取历史人物信息：尝试使用少样本学习从古代文本中提取正确的表达方式

• 发表时间: 2022
• 作者: 苑 広媛;李 康穎;後藤 真;木村 文則;前田 亮
• 通讯作者: 前田 亮

事例ベース固有表現抽出を用いた古文からの歴史人物情報の抽出および活用

使用基于案例的命名实体提取从古代文本中提取和利用历史人物信息

• 发表时间: 2023
• 作者: 苑 広媛;李 康穎;後藤 真;木村 文則;前田 亮
• 通讯作者: 前田 亮

A Prototypical Network-Based Approach for Low-Resource Font Typeface Feature Extraction and Utilization

一种基于网络的原型方法，用于低资源字体特征提取和利用

• DOI: 10.3390/data6120134
• 发表时间: 2021
• 期刊: Data
• 影响因子: 2.6
• 作者: Li Kangying;Batjargal Biligsaikhan;Maeda Akira
• 通讯作者: Maeda Akira

Intuitively Searching for the Rare Colors from Digital Artwork Collections by Text Description: A Case Demonstration of Japanese Ukiyo-e Print Retrieval

通过文字描述直观地从数字艺术品收藏中寻找稀有色彩：日本浮世绘版画检索案例展示

• DOI: 10.3390/fi14070212
• 发表时间: 2022
• 期刊: Future Internet
• 影响因子: 3.4
• 作者: Li Kangying;Wang Jiayun;Batjargal Biligsaikhan;Maeda Akira
• 通讯作者: Maeda Akira