手順文書からの知識獲得

機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。

機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素（部品など）とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。