アカデミック・ライティング研究のための日本語学術論文コーパス構築

建立用于学术写作研究的日本学术论文语料库

• 批准号: 21K00554
• 负责人: 今田 水穂
• 金额: $ 2.75万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K00554/
• 关键词: 論文コーパス; XMLコーパス; アカデミック・ライティング; 学術論文; コーパス

本研究は大学初年次のアカデミック・ライティング研究のために、多分野を横断した日本語論文コーパスを構築することを目的としている。コーパス化する論文は収集の容易さと多分野性の観点から大学リポジトリで公開されている紀要論文を中心とし、テキストコーパスとして構築した後、XMLタグによる文書構造のアノテーション、形態素解析・係り受け解析などを予定している。昨年度以来、論文のインデクス作成、論文PDF収集の自動化やOCRなどについて検討を進めているが、本年度は既にテキストが埋め込まれているPDFを対象として、PDFファイルからテキストデータを抽出・整形する方法について検討した。PDFをテキストファイルに変換するツールとしてはpdftotextなどのコマンドラインツールがあるが、出力されるデータは断片化されたテキストの羅列であるため、構造化されたテキストとして整形するためには相当の作業量が必要になる。PDFからのテキスト抽出を目的とした商用ソフトにはGUIでテキストブロックを特定した上で抽出処理を行えるものもあるが、多数のファイルを処理することを考えるとスクリプト処理で自動化できることが望ましい。現状、有力な選択肢はPythonのPDFminerライブラリであり、行の認識が直感に合い、テキストブロックの座標情報も出力されるため、座標やインデントを手がかりとした整形処理の自動化が期待できる。別の有望な選択肢としてはGPTなどの言語モデルの利用であり、ChatGPTを用いたごく限定的なテストでは、タイトル、著者、見出し、段落などの認識をよい精度で行えるようである。現在は、これらのツールを利用して構造化されたテキストファイルの生成の自動化を試行しているところである。

This study は university early time の ア カ デ ミ ッ ク · ラ イ テ ィ ン グ research の た め に, eset を transection し た Japanese paper コ ー パ ス を build す る こ と を purpose と し て い る. コ ー パ ス change す る paper は 収 set の easy さ と over wild の 観 point か ら university リ ポ ジ ト リ で public さ れ て い る summary paper を center と し, テ キ ス ト コ ー パ ス と し て build し た after, XML タ グ に よ る document structure の ア ノ テ ー シ ョ ン, form is analytical, り け parsing な ど を designated し て い る. Since last year, the thesis の イ ン デ ク ス done, paper PDF 収 set の automation や OCR な ど に つ い て beg を 検 into め て い る が, this year's は に テ キ ス ト が buried め 込 ま れ て い る PDF を like と seaborne し て, PDF フ ァ イ ル か ら テ キ ス ト デ ー タ を extraction, plastic す る method に つ い て beg し 検 た. PDF を テ キ ス ト フ ァ イ ル に variations in す る ツ ー ル と し て は pdftotext な ど の コ マ ン ド ラ イ ン ツ ー ル が あ る が, output さ れ る デ ー タ は fragment the さ れ た テ キ ス ト の listed で あ る た め, construct さ れ た テ キ ス ト と し て plastic す る た め に は quite の work が necessary に な る. PDF か ら の テ キ ス ト spare を purpose と し た commercial ソ フ ト に は GUI で テ キ ス ト ブ ロ ッ ク を specific し た で drew 処 を cut line え る も の も あ る が, most の フ ァ イ ル を 処 Richard す る こ と を exam え る と ス ク リ プ ト 処 Richard で automation で き る こ と が hope ま し い. Present situation, the powerful な sentaku limb は Python の PDFminer ラ イ ブ ラ リ で あ り に い, towards, line の が テ キ ス ト ブ ロ ッ ク の coordinates intelligence も output さ れ る た め, coordinates や イ ン デ ン ト を hand が か り と し た plastic 処 Richard の automation が expect で き る. Don't の is expected to be な sentaku limb と し て は GPT な ど の words モ デ ル の using で あ り, ChatGPT を with い た ご く qualified な テ ス ト で は, タ イ ト ル, author, see し, paragraphs な ど の know を よ い precision line で え る よ う で あ る. Now は, こ れ ら の ツ ー ル を using し て structured さ れ た テ キ ス ト フ ァ イ ル の generated の automation を trial し て い る と こ ろ で あ る.