日本近代公文書自動解読システムの構築

现代日本公文自动译码系统的构建

• 批准号: 20H01304
• 负责人: 山田 雅之
• 金额: $ 10.98万
• 依托单位: Chukyo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H01304/
• 关键词: 史料研究; 近代公文書; データセット開発; 手書き文字認識システム; 手書き文書認識システム

自動解読システムの核となるものは手書き文書認識技術である。これは字形情報と文脈情報を使って、注目している手書き文字の字種を推定する技術である。手書き文書認識技術の進歩は近年めざましいが、近代公文書は旧字体、略字、崩し字など様々な字体で書かれているため、自動解読は容易でない。本研究では深層学習を用いた文書認識技術を用いるが、これには近代公文書の文字特徴を網羅するデータセットを用意する必要がある。また、目標とする自動解読精度95%を達成するためには文書認識の新規技術の開発が必要である。本研究では、2021年度末までに、台湾総督府文書を題材として、約81万文字分の手書き文字の基礎データを含むデータセットを開発した。2022年度はさらに、約33万文字分のデータを追加し、4,548画像、約114万文字分のデータセットを開発した。また、自動解読システム開発のための要素技術として、2020年度までに精度95％の文字切り出し技術と精度89％の個別文字認識技術の開発を行ったが、2021～2022年度はこれらの精度改善手法を検討し、個別文字認識は93%の認識精度を達成するとともに、サンプル数の少ない字種の認識精度改善手法を検討。また、文脈情報を利用する行画像認識技術の開発を進め、92%の認識精度を達成した。これら要素技術により対話型解読支援システムを試作し、台湾研究機関の史学研究者らの協力のもと支援機能の評価実験を行った。また、台湾総督府文書を題材にして計量文献学的手法による時間・空間特徴の分析も行った。これらの成果については学術論文１編、国内学会発表２件により公表・報告を行った。本研究課題では、今後、125万文字分までデータセットを拡充するとともに、これまで開発した技術を基盤として、実利用可能な近代公文書自動解読システムを構築する。

Automatic solution to the problem of nuclear weapons, the use of calligraphy and document recognition technology This is the first time that the Chinese characters have been used in Chinese calligraphy, and the Chinese characters have been used in Chinese calligraphy. In recent years, the progress of calligraphy and document recognition technology has changed. Modern official documents have changed from old fonts, abbreviated characters, broken characters to books. This study aims to explore the characteristics of modern Chinese official documents. The goal is to achieve an automatic resolution accuracy of 95%. By the end of 2021, this study will be conducted on the basis of 810,000 Chinese characters in Taiwan's government documents. In 2022, approximately 330,000 characters were added, 4,548 images were added, and approximately 1,140,000 characters were added. In 2020, the development of word segmentation technology with accuracy of 95% and the development of individual character recognition technology with accuracy of 89% will be carried out. In 2021 - 2022, the improvement of the accuracy of word recognition technology with accuracy of 93% will be discussed. The development of image recognition technology based on contextual information and 92% recognition accuracy were achieved. This paper discusses the evaluation of the collaborative support function of historical researchers from Taiwan research institutions. Analysis of temporal and spatial characteristics of bibliometric literature in Taiwan 1 academic paper, 2 domestic academic papers, 2 public tables and reports This research project aims to construct a framework for the development of technology for the future 1.25 million Chinese characters, and to construct a framework for the automatic interpretation of modern Chinese documents.

项目成果

深層学習を用いた石碑文字のセグメンテーション

使用深度学习分割石刻

• 发表时间: 2020
• 作者: 守田直人;井上隆之介;山田雅之;中貴俊;兼松篤子;宮崎慎也;長谷川純一
• 通讯作者: 長谷川純一

疑似石碑画像を用いた深層学習による石碑文字セグメンテーション

使用伪石碑图像进行深度学习的石碑字符分割

• 发表时间: 2021
• 作者: 松原悠人;山田雅之;中貴俊;兼松篤子;宮崎慎也;長谷川純一
• 通讯作者: 長谷川純一

日本近代公文書自動解読のためのデータセットと文字列認識手法の開発

现代日本官方文件自动解码数据集及字符串识别方法开发

• 发表时间: 2021
• 作者: 田中隆;山田雅之;中貴俊;兼松篤子;宮崎慎也;長谷川純一
• 通讯作者: 長谷川純一

Inscription Segmentation Using Synthetic Inscription Images for Text Detection at Stone Monuments

使用合成铭文图像进行铭文分割，用于石碑文本检测

• 发表时间: 2021
• 作者: Naoto Morita;Ryunosuke Inoue;Masashi Yamada;Takatoshi Naka;Atsuko Kanematsu;Shinya Miyazaki;Junichi Hasegawa
• 通讯作者: Junichi Hasegawa

RoBERTaの近代文書への適用

RoBERTa 在现代文档中的应用

• 发表时间: 2022
• 作者: 亀山 京右;山田 雅之;中 貴俊;兼松 篤子;宮崎 慎也;長谷川 純一
• 通讯作者: 長谷川 純一