Empirical analysis of peer review reports on medical articles and its application to medical education

点击翻译按钮获取中文摘要

論文の質を複数人の専門家で評価する査読の仕組みは、医学エビデンス創出の基盤を成す。しかし、日本では、臨床医が忙しい臨床の傍ら研究に従事することも多く、査読を学ぶ機会は劇的に不足する。また、査読そのものも、性質上閉鎖的で、実態が不透明な部分も多く、査読教育を行う上での大きな障壁となってきた。本研究は、実証的エビデンスに基づき現行の査読の実態を明らかにし、効果的な査読教育の開発に繋げることを目的とする。まず、研究の第一段階として、公開査読制を採用する医学研究雑誌のうち、4大トップジャーナルの１つとしても知られるThe British Medical Journal (BMJ)に絞って、BMJに掲載されたランダム化比較試験（RCT）論文に対する査読レポートを解析することにした。トップジャーナルでは一流の査読者が査読を行うため、質の高い査読レポートの入手が期待できる。また、観察研究と比較して、RCTでは研究の方法論がある程度決められており、査読レポートも構造化しやすいことが想定される。さらに、RCTは医学以外の領域でも広く用いられる研究デザインであり、得られた知見の汎用性も期待できる。そこで、BMJで出版されたRCT論文のうち、出版時期が最近のものから適当に10本抽出した（うち、2本は最初の査読結果でRejectと判断されたものを含めるようにした）。査読を受ける前の原稿とそれに対する初回の査読レポートをBMJのウェブサイトからPDFファイルで入手し、Pythonを用いて査読者のコメント部分のみ自動的に抽出できるようにした。その上で、2本のRCT論文に対する計10名の査読者コメントを意味的なまとまりに分類し、各パートに意味づけするアノテーションを2名の臨床疫学専門家が独立して作業した。その後、言語学および教育学の専門家も加わって最終的に両者の合意形成がなされた。