手順文書からの知識獲得

从程序文件中获取知识

• 批准号: 20H04210
• 负责人: 森 信介
• 金额: $ 11.32万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H04210/
• 关键词: 固有表現認識; フローグラフ; マルチモダリティー; 上位下位関係; 部分全体関係; 部分全体関; 単語分割; 動作; 自然言語処理; 自然言語理解; 知識

機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。

The purpose of the manual is to understand the general purpose of the manual and to investigate the general purpose of the manual. Food composition elements (parts) Add The natural language processing technology is used to analyze the natural language. This year, the structure of the system is described directly. In order to improve the quality of the products, we should pay attention to the quality of the products. The next year's issue is to construct and structure the system.また、特许中のフローチャート画像からの说明文の自动生成に取り组んだ。Construction of text generator,(1) extraction of character string from images,(2) creation of text for machine learning,(3) construction of text generator for T5, and (3) manual construction. 11,188 pieces of pictures and explanatory text are used in the construction of picture and explanatory text generator. The result of the test, the quality of the high-level explanation, the generation of.

项目成果

Visual Grounding Annotation of Recipe Flow Graph

配方流程图的视觉基础注释

• 发表时间: 2020
• 作者: Taichi Nishimura;Suzushi Tomori;Hayato Hashimoto;Atsushi Hashimoto;Yoko Yamakata;Jun Harashima;Yoshitaka Ushiku and Shinsuke Mori
• 通讯作者: Yoshitaka Ushiku and Shinsuke Mori

MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients

• DOI: 10.1145/3469877.3490596
• 发表时间: 2021-12
• 期刊: Proceedings of the 3rd ACM International Conference on Multimedia in Asia
• 作者: Yixin Zhang;Yoko Yamakata;Keishi Tajima

オープンドメインの手順書のフローグラフ予測とデータセットの構築

开放域过程流程图预测和数据集构建

• 发表时间: 2023
• 作者: 白井 圭佑;亀甲 博貴;森 信介
• 通讯作者: 森 信介

レシピフローグラフへのVisual Groundingアノテーション

配方流程图的视觉基础注释

• 发表时间: 2020
• 作者: 西村 太一;友利 涼;橋本 隼人;橋本 敦史;山肩 洋子;原島 純;牛久 祥孝;森 信介
• 通讯作者: 森 信介

自然言語処理技術を利用した特許文献の分析

利用自然语言处理技术分析专利文献

• 发表时间: 2022
• 作者: 古川 悠久子，鈴木久美子，濱口 竜平，大西 正輝;櫻田 健;難波英嗣
• 通讯作者: 難波英嗣