Study to generate a huge text corpus of Japanese in Edo-period and to recognize historical cursive

点击翻译按钮获取中文摘要

深層学習の技術の登場により、それまでまともに認識できなかった古文書のくずし字を認識できるようになった。版本（出版された本）に限れば約95％の正解率という実用レベルに達している。しかし版本のくずし字はくずし字の中では読みやすい。教育レベルが低い人も多い一般大衆にとって読みやすいように、清書専門の職人が工夫して書いているからである。具体的には、漢字より平仮名が多かったり、変体仮名の種類が少なかったり、くずしの程度が軽かったりする。それに対し、書簡や和歌の肉筆の文書のくずし字の中には、版本と違い読みにくい文字がたくさんある。それらの多くはプライベートな文書で、想定している読み手が読めさえすれば良いというスタンスで書かれており、一般大衆向けの版本の人工的なくずし字と違い、自由で多様なくずし字となっている。このような肉筆のくずし字認識の正解率は、我々が試した限りでも7割前後にまで落ちることもあり、今後のくずし字認識の主要なターゲットであると認識している。肉筆のくずし字認識の正解率を上げるための前提として、大規模なテキストコーパスが不可欠であると考えた。深層学習による文字認識を牽引している英語の文字認識も、現代中国語の文字認識も、膨大なテキストコーパスを利用している。具体的には、GPT-3.5が用いる英語のテキストコーパスは約4000億語、現代中国語のテキストコーパスは6000万字以上である。それに対し、くずし字認識のための近世日本語の大規模テキストコーパスは（ごく一部のジャンルや小規模なものを除き）我々の知る限り存在しない。これに対し我々は昨年度開発した、変体仮名などにも対応したOCRを使い、古文書を翻刻し活字として既に出版された書籍430冊から6700万字以上テキストを抽出する成果を挙げた。