アカデミック・ライティング研究のための日本語学術論文コーパス構築

建立用于学术写作研究的日本学术论文语料库

• 批准号: 21K00554
• 负责人: 今田 水穂
• 金额: $ 2.75万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K00554/
• 关键词: 論文コーパス; XMLコーパス; アカデミック・ライティング; 学術論文; コーパス

本研究は大学初年次のアカデミック・ライティング研究のために、多分野を横断した日本語論文コーパスを構築することを目的としている。コーパス化する論文は収集の容易さと多分野性の観点から大学リポジトリで公開されている紀要論文を中心とし、テキストコーパスとして構築した後、XMLタグによる文書構造のアノテーション、形態素解析・係り受け解析などを予定している。昨年度以来、論文のインデクス作成、論文PDF収集の自動化やOCRなどについて検討を進めているが、本年度は既にテキストが埋め込まれているPDFを対象として、PDFファイルからテキストデータを抽出・整形する方法について検討した。PDFをテキストファイルに変換するツールとしてはpdftotextなどのコマンドラインツールがあるが、出力されるデータは断片化されたテキストの羅列であるため、構造化されたテキストとして整形するためには相当の作業量が必要になる。PDFからのテキスト抽出を目的とした商用ソフトにはGUIでテキストブロックを特定した上で抽出処理を行えるものもあるが、多数のファイルを処理することを考えるとスクリプト処理で自動化できることが望ましい。現状、有力な選択肢はPythonのPDFminerライブラリであり、行の認識が直感に合い、テキストブロックの座標情報も出力されるため、座標やインデントを手がかりとした整形処理の自動化が期待できる。別の有望な選択肢としてはGPTなどの言語モデルの利用であり、ChatGPTを用いたごく限定的なテストでは、タイトル、著者、見出し、段落などの認識をよい精度で行えるようである。現在は、これらのツールを利用して構造化されたテキストファイルの生成の自動化を試行しているところである。

这项研究旨在在大学第一年的学术写作研究中构建一个多学科的日本论文语料库。 The corpused papers will focus on the papers published in the university repository from the viewpoint of ease of collection and multidisciplinary nature, and after constructing them as text corpus, they will be annotated by document structures using XML tags, morphological analysis and association analysis, etc. Since last year, we have been considering paper indexing, automating paper PDF collection, and OCR, but this year we have considered ways to extract and shape text data from PDF files,定位已经嵌入文本的PDF。有命令行工具，例如pdftotext，可以将PDF转换为文本文件，但是由于输出数据是零散的文本的集合，因此将其格式化为结构化文本需要大量工作。一些旨在从PDF中提取文本的商业软件可用于在执行提取处理之前使用GUI识别文本块，但是考虑到大量文件的处理，希望能够通过脚本处理使它们自动化。当前，最受欢迎的选项是Python的PDFMiner库，该库允许直觉识别行和输出文本块的坐标信息，因此可以预期，使用坐标和压痕作为线索，可以自动化成型过程的自动化。另一个有前途的选择是使用诸如GPT之类的语言模型，在使用ChatGpt的非常有限的测试中，似乎可以以很高的精度来实现标题，作者，标题，段落等的识别。当前，我们正在尝试使用这些工具来自动化结构化文本文件的生成。