Study to generate a huge text corpus of Japanese in Edo-period and to recognize historical cursive

江户时代日语海量文本语料库生成及历史草书识别研究

• 批准号: 21K12008
• 负责人: 長井 歩
• 金额: $ 2.66万
• 依托单位: Gunma University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12008/
• 关键词: くずし字認識; 文字認識; 深層学習; 翻刻; テキストコーパス; 崩し字

深層学習の技術の登場により、それまでまともに認識できなかった古文書のくずし字を認識できるようになった。版本（出版された本）に限れば約95％の正解率という実用レベルに達している。しかし版本のくずし字はくずし字の中では読みやすい。教育レベルが低い人も多い一般大衆にとって読みやすいように、清書専門の職人が工夫して書いているからである。具体的には、漢字より平仮名が多かったり、変体仮名の種類が少なかったり、くずしの程度が軽かったりする。それに対し、書簡や和歌の肉筆の文書のくずし字の中には、版本と違い読みにくい文字がたくさんある。それらの多くはプライベートな文書で、想定している読み手が読めさえすれば良いというスタンスで書かれており、一般大衆向けの版本の人工的なくずし字と違い、自由で多様なくずし字となっている。このような肉筆のくずし字認識の正解率は、我々が試した限りでも7割前後にまで落ちることもあり、今後のくずし字認識の主要なターゲットであると認識している。肉筆のくずし字認識の正解率を上げるための前提として、大規模なテキストコーパスが不可欠であると考えた。深層学習による文字認識を牽引している英語の文字認識も、現代中国語の文字認識も、膨大なテキストコーパスを利用している。具体的には、GPT-3.5が用いる英語のテキストコーパスは約4000億語、現代中国語のテキストコーパスは6000万字以上である。それに対し、くずし字認識のための近世日本語の大規模テキストコーパスは（ごく一部のジャンルや小規模なものを除き）我々の知る限り存在しない。これに対し我々は昨年度開発した、変体仮名などにも対応したOCRを使い、古文書を翻刻し活字として既に出版された書籍430冊から6700万字以上テキストを抽出する成果を挙げた。

Deep learning techniques are introduced, and the knowledge of ancient texts is recognized. Version (published) is limited to approximately 95% correct rate. In the middle of the book, there is a lot of work to do. Education is the best way to improve the quality of education. The specific Chinese characters are different from each other, and the types of Chinese characters are different. In the middle of the book, in the middle of the book. For example, if you want to write a book, you can write a book. If you want to write a book, you can write a book. If you want to write a The correct solution rate of the word recognition of the meat pen is the same as that of the original word recognition. A study on the premise of correct understanding of Chinese characters on a large scale Deep learning is the driving force of English character recognition, modern China character recognition, and the expansion of Chinese character recognition. The specific language, GPT-3.5, is about 400 billion words, and the modern China language is more than 60 million words. In modern Japanese, there is a limit to what we know. This year's opening ceremony was held in Beijing, China, with over 67 million Chinese characters.