PDFファイルはこちら
カレントアウェアネス
No.321 2014年9月20日
CA1829
動向レビュー
査読をめぐる新たな問題
同志社大学社会学部：佐藤翔（さとう しょう）
１．はじめに：でたらめな「査読」論文
2014年2月、英Nature誌電子版に衝撃的なニュースが掲載された。SpringerやIEEEが出版している会議録の中に、コンピュータで自動生成された、でたらめな論文が掲載されていたというのである(1)。発見したのは自動生成論文を発見する技術を開発したフランスの研究者、Cyril Labbéで、彼の技術により100本以上の論文が自動生成によるものと特定された。その中には「査読が行われている」としていた会議録に載ったものもあった。
このような査読制度の信用をゆるがす告発が近年、相次いでいる。研究の質を担保するフィルターとして機能してきた査読に今、何が起こっているのだろうか。
２．査読とは：形態と意義
学術雑誌に論文が投稿されると、編集者は内容を審査するにふさわしい外部の研究者（査読者）に原稿を送り、掲載するに値するか否か判断を仰ぐとともに、改善すべき点や疑問点についてのレポート執筆を依頼する。査読者の判断とレポートを参考に編集者は論文の採否を決定したり、著者に対して査読者からの意見を伝え、修正・再投稿を求めたりする。このような仕組みを「査読」と呼ぶ(2) (3)。
一般的に、査読にあたっては1論文に対して2名の査読者が指名される。これは1名だけでは意見に偏りが出る場合があるためである。著者は査読者が誰であるかは知らされない一方、査読者は著者名を知ることができる場合が多い（シングル・ブラインド制）。2名の査読者の意見が大きく異なる場合には3人めの査読者に審査を依頼することもあるが、多くの場合、編集者が採否を決定する(4)。
倉田は査読には二つの側面から意義があると指摘している(5)。一つは投稿された論文を、その分野において適切な、標準的な形式にする機能である。実際に査読前後の論文の内容を比較し、査読後の方が改良されていることを示した研究も存在する(6)。
もう一つは選別あるいは「質のフィルター」としての役割である。研究活動から産み出された情報・知識について、同じ研究者の目から評価を行い、選別した情報を社会へ配布していくこの機能は、「科学情報の生産と伝達プロセスに欠くことのできないもの」(7)である。査読には後述する問題点もあるため、それに代わる「質のフィルター」構築の提案もいくつも行われてきたが、いずれも実現しておらず(8)、「査読は質の高い学術雑誌を実現するために最も重要かつ効果的なメカニズムである」と言われている(9)。研究者にも査読は支持されており、2008年に行われた研究者を対象とする調査によれば、回答者の85%は査読は学術コミュニケーションにおいて大きな役割を果たしていると考えており、83%は査読なしでは学術コミュニケーションは統制がとれなくなると考えていた(10)。
３．従来から指摘されてきた査読の問題点
一方で、査読には多くの問題も指摘されている。それらの問題点は大きく分けて、(1) コストと時間がかかる、(2) 査読の過程で不正が行われる場合がある、(3) 査読が「質のフィルター」として適切に機能しない場合がある、という三つに分けられる。
3.1 査読にかかるコストと時間
査読には一定のコストと時間がかかる。「研究を開始し、その成果を発表するまでの数千にわたるプロセスからすれば、論文審査に費やす期間はわずかでしかない」(11)とする考えもあったが、研究のタイムスパンがより短くなっている現在、査読にかかる時間への不満は大きい。前述の研究者に対する調査によれば、回答者の38%が「査読に時間がかかりすぎる」ことを不満に感じていた(12)。また、査読者に謝礼が払われることは多くはないが、適当な査読者を探し、やりとりする編集者の雇用にはコストがかかる。さらに言えば、査読者は査読にかかる時間の分、研究のための時間が奪われるわけであり、研究コミュニティ全体の視点に立てば「研究者の時間」というコストがかかっている。
査読にかける時間・コストの短縮については様々な試みが取られている。PLOS ONEを嚆矢とする、いわゆるオープンアクセス（OA）メガジャーナルで採用された簡易査読はその一つであろう。OAメガジャーナルでは査読者は手続き上の問題点等、研究論文としての要件を満たしているかのみを審査し、その論文の中で示された新たな発見の価値については考慮しないことで査読にかける時間を短縮しようとしている(13)。このような手法は一定の成功を収め、同様の雑誌の創刊も相次いでいる。
3.2 査読の過程において行われる不正
前述の通り、多くの場合査読者に対して謝礼等は支払われず、査読は科学のためのボランティアとして行われている。ただし査読者に全くメリットがないわけではなく、公刊前の情報をいち早く知ることができる点は査読者にとって利益になると指摘されてきた(14)。
この立場を査読者が悪用しかねない、というのが査読の第二の問題点である。査読の過程で知り得た情報を、その論文が公刊される前に自身の論文中で盗用したり、自身の研究成果を先に発表するために査読結果の提出をわざと引き伸ばす、といった不正の存在はしばしば指摘されている。2005年に発表された研究と発表をめぐる倫理違反に関する調査報告によれば、報告事例212件中、6件が査読者による不正であった(15)。
このような不正は著者が査読者名を知らされない、シングル・ブラインド制だからこそ起こるとも考えられる。そこで対策として、査読者名を著者に知らせるオープン・ピア・レビュー（Open Peer Review）を採り入れる雑誌も現れている(16)。
3.3 「質のフィルター」としての査読の問題
前述のとおり査読は「質のフィルター」であることが求められるが、それが適切に機能していない場合がある。この点については多くの研究で検証されており、Lutz Bornmannが2011年にその網羅的なレビューを行っている。そのレビューの中でBornmannはフィルターとしての査読に関する研究を、「信頼性」、「公正性」、「有効性」に関するもの、という三つにわけている(17)。
(1) 査読の信頼性
信頼性のある機能とは、条件が同じであれば同じように挙動するものである。全く同じ論文が投稿されても査読結果がバラバラになるのでは、その査読自体が信頼できない。この点の傍証として、多くの場合2名いるとされる査読者の審査結果がどれだけ一致しているかを見た研究が多数存在し、実は2名の結果が一致することは少ないことがわかっている(18)。ただし、これは2名それぞれが同じ論文を査読しても違う側面を見ているためであるとも言われており、多様な情報を編集者に提供しているという点ではむしろ価値がある、という意見もある。
より直接的な実験として、心理学分野で、ある雑誌に掲載された論文を、著者名や題名等を改変した上で、全く同じ雑誌に投稿するという実験も行われている(19)。その結果、まず既に掲載済みの論文であることに気付かれた例はわずかであり、しかも気付かれないまま審査された論文の多くは、一度は査読を通過した論文であったにも関わらず、却下されてしまった。
(2) 査読の公正性
査読においては様々なバイアスが存在し、必ずしも公正性が保たれているわけではない。この点についてはBornmannのレビューのほか、査読におけるバイアスに絞ったCarole J. Leeらのレビューに詳しい(20)。
例えば論文の内容に関するバイアスとしては、内容が従来の定説に合致しているか、革新性の高いものかで結果が変わり、革新性の高い論文の方が採択されにくいという査読の保守主義が指摘されている。その他にも著者の所属機関、職位、性別、国籍、母語など様々なバイアスの存在が指摘されている(21)。このうち著者の属性に基づくバイアスについては、査読時に査読者名を著者に伏せるだけではなく、著者名も査読者に伝えないダブル・ブラインド制の導入により対応する試みもあるが、直接伝えられなくても本文や参照文献から著者を容易に特定できてしまい、意味がないとする批判もある(22)。
(3) 査読の有効性
査読は「質のフィルター」として、世に広めるべき研究成果を選び出す役割を担うものである。しかし実際に優れたものを選べているのか、という有効性の点については疑義が有り、例えば前述のように革新性の高い論文が採択されにくいために、後にノーベル賞をとる研究成果が、最初に投稿された雑誌で却下されてしまった例もある(23)。
多くの論文は一度却下されても別の雑誌への投稿が繰り返され、いずれは出版される。そこである雑誌で却下された後に別の雑誌に採択された論文について、最初に投稿された雑誌に採択された論文と被引用数を比較する研究がいくつか行われている(24)。結果は最初の雑誌に採択されたものの方が被引用数が多い場合が多いとされているが、被引用数という偏りの大きいデータで全体を比較することの問題点を考慮に入れると、本当に査読で優れたものを選べているのかという疑問が解消したとは言いがたい。
以上のように査読にも様々な問題があり、その対応策も検討されている(25)。その中には前述のとおり査読の代替手法の提案もあるものの、いずれも実現には至っておらず、査読への研究者からの支持も大きい。そこでオープン・ピア・レビューやダブル・ブラインド制、簡易査読等の試みが導入されているわけであるが、現状、それらがどの程度の効果をもたらしうるのかははっきりとはしていない(26)。
そして近年、従来からある上記の点に加え、新たな問題点が指摘されるようになった。そもそも、その査読は本当に行われているのだろうか？
４．新たな問題：査読は本当に行われているのか
4.1 SCIgenの登場
査読を巡る新たな問題、それは「査読がある」と明言しながら、実は行っていない出版者や会議主催者が存在することである。
この問題が最初に取り沙汰されたのは学術雑誌ではなく、国際会議での発表であった。コンピュータサイエンス分野では査読の存在する国際会議での発表は雑誌論文と同等かそれ以上に重要な成果となる。一方で、国際会議の中には参加費収入を得ることだけを目的とするものもあるのではないかと疑われている。そういった会議であっても「査読を行う」としている場合もあるが、目的が参加費であれば実際には査読のコストなどかけず、全て採択してしまった方が合理的であり、本当に査読が行われているのかも疑わしい。
これら疑わしい会議の査読を実際に検証してみようとしたのが、マサチューセッツ工科大学（MIT）の学生Jeremy Striblingらであった。彼らはコンピュータサイエンス分野の、一見すると論文らしい体裁を整えており、文法的な誤りはないものの、文意はまったく通らないでたらめな論文を自動生成するソフトウェア、SCIgenを開発し、実際に自動生成した論文をある国際会議に投稿した。真っ当な研究者が読めば却下する以外の判断はし得ない論文であったが、その論文は採択された(27)。
査読が適切に機能しているかどうかを知る方法として、実際に論文を投稿してみるというのは古典的な方法である。前述の心理学分野での同一論文再投稿実験のほか、方法論にわざと明確な誤りを含んだ論文を投稿してみる実験(28)等も行われている(29)。さらに著名なものには、カルチュラル・スタディーズの領域で数学や物理学等の専門用語を誤った形で利用していることに疑問を覚えたAlan Sokalが、そうした論文が掲載されていた雑誌に意図的に専門用語をでたらめに用いた論文を投稿したところ掲載に至ったという、いわゆるソーカル事件がある(30)。これらは査読あるいはなんらかのチェックが存在することを前提とし、そのチェックの問題点を検証するもので、論文はいずれもそれなりの文章にはなっていた。これに対し、SCIgenで生成される論文は文意を汲み取りながら読む、ということ自体難しいものであり、それが採択されるということは、誰も論文を読んですらいない可能性を示している。
4.2 次なる問題：OA雑誌
MITの学生らは、誰もが利用できるようにSCIgenをインターネット上で公開した(31)。これを利用して、著者が払う論文処理加工料（APC）によって刊行されるタイプのOA雑誌の中に、査読が存在しない例があることを示したのがPhilip Davisである。
DavisはOA雑誌出版者の一つ、Bentham Science社から論文投稿の広告メールがしばしば届くことを不審に思い、そのような雑誌ならどんな論文でも掲載されるのではないかと考え、複数の雑誌にSCIgenを用いて生成した論文を投稿した。そのうちThe Open Information Science Journal誌でこの論文が採択され、Davisは結果をブログ上で公開し、大きな話題となった(32)。
さらに2013年にはScience誌の編集部らが、高校生レベルの化学に関する知識があれば誤りに気付くような偽論文を304のOA雑誌に投稿する実験も行っている。そのうち半数を超える157誌がこの論文を受理し、中にはElsevierやSageなどの大手商業出版者の雑誌も含まれていた(33)。この実験ではSCIgenは使われていないが、SCIgenによる実験と同様、まともな査読が存在しない自称「査読誌」を告発するために行われたものである。
4.3 問題の背景：ビジネスとしての査読
なぜ査読の存在自体、疑われるような雑誌や会議が多数現れるようになったのか。その一因には、現代において査読がビジネスとなっていることがある。
読者が支払う購読料に依拠する、従来型の学術雑誌においても、査読はビジネスの中核であった。研究者コミュニティから高い評価を得て、多くの人（あるいは機関）に購読され、収入を得続けるためには、魅力的な論文を掲載する必要がある。その選別のために、コストをかけてでも査読を行う意味があった。また、質の高い論文が多く載る有名誌には、自身の論文も載せたいと思う研究者が多く、それが一層質の高い論文を集めることにもつながった。
一方で、国際会議やOA雑誌は参加費やAPCによって運営され、利益もそこから生まれる。この場合、短期的には査読の手を抜くか、あるいはいっそ査読を実施せず、投稿論文をすべて出版し、最大の参加費あるいはAPCを得ることが、コストをかけずに儲けを最大にする方法である。しかし長期的にはそういった質の低い国際会議や雑誌は、研究者コミュニティからの評価を得られず、論文が採録されても誰にも読まれないために、投稿が集まらず淘汰されるだろう。そのためOA雑誌であっても査読はきちんと行いながら、できるだけ投稿されたものを逃さない工夫が様々になされ、PLOS ONEのようにビジネスとして成立するようになった(34)。
しかし、全てのOA雑誌や国際会議等がそのような道を歩んだわけではなく、スパムのように投稿を勧誘しつつ、まともに査読をせずに論文を掲載してAPCをせしめる雑誌や出版者も存在する。このような出版者を「ハゲタカ出版者」と呼ぶこともあり、リストが作成され、注意が呼びかけられている(35)。
なぜ有名でもない雑誌にAPCを支払ってでも載せようとする著者がいるのか。更なる背景には、激化する研究者間の競争と、業績に対するプレッシャーの大きさが挙げられるだろう。研究における競争の中ではインパクトの高い、有名誌に論文を出すことが重要で、それ以外は意味がないと言われることも多い。しかし著者が有名誌に載らないような内容と自覚している場合、「どこでもいいからとにかく査読のある雑誌に載せたい」ということもある。とにかく査読誌に掲載されれば、査読論文として研究業績や研究成果報告書に挙げることはできる。実態はともかく「査読」があることになっている場があれば、それが発表の視野に入ってしまうこともうなずける。
査読がなくても良いのなら、自らリポジトリ等で公開することと大差がない。査読という「質のフィルター」をくぐりぬけた業績である点が必要なのである。自身の業績に対し「査読」というお墨付きを与えてくれることは研究者にとって意味があり、だからこそ査読がビジネスとして成立するようになった。近年では査読を専門に行う（その結果を付した上で各雑誌等に投稿できる）商用サービスまで現れるほどである(36)。その需要につけこんで、査読を行うと騙った者たちが現れ、査読の存在自体を疑ってかかる必要が出てきた。それが現在の、新たな査読をめぐる問題である。
５．査読の存在をどう保証するのか
5.1 ハゲタカ出版者だけの問題ではない
前章では業績をあげることに追われる研究者が、「ハゲタカ」に食い物にされる被害者であるかのように書いた。しかし実際には、研究者の側にも「査読がある」としつつ実際にはほとんどない、という場が求められていた、だからこそハゲタカ出版者の商売が成立しているという面もある。
その疑念をいっそう深くするのが、冒頭で述べたSpringerとIEEEの会議録に自動生成論文が掲載されているのが発覚した事件である(37)。この事件でもSCIgenを使って偽論文が生成されているが、過去の事件と違うのは、告発者が偽論文の投稿者ではない点である。つまりこれらの偽論文は、実験目的で国際会議に投稿されたのではない可能性が高い。ではなんの目的で投稿されたのか。はっきりとはわからないが、今回指摘されるまで、これらの論文には著者の業績として記載しうる可能性があった。少なくともこの事件によって、著者の中に悪意を持って偽論文を投稿した者がいる可能性を意識しないわけにはいかなくなったと言えよう。
ハゲタカ出版者と、不正に査読済みの業績を増やそうという研究者の需給がマッチしてしまえば、「査読済み」と名乗るでたらめな論文が蔓延しかねない。SCIgenによる自動生成は既に見破る手法が開発されているが(38)、人間が適当に論文を書いた場合はどうか。質の低い論文をハゲタカ出版者の雑誌で大量に公開し始めたら。おそらく大半は一度も読まれることなく消えていくだろうが、データベース等のレコードにはそれらも含まれてしまいうるし、検索の度に「査読があるとなっているけれど、本当かはわからない」と疑ってかからねばならなくなる。実際、SpringerとIEEEのデータベースに、自動生成論文は含まれていたのである。
5.2 考えられる対策
このような状況を回避するには、査読を本当に行っていることを示す、なんらかの機能が必要である。
一つの可能性として、査読レポートを広く公開してしまおうというPeerJの試みが挙げられる。PeerJはいったん、有料会員として登録すれば、その後生涯APC無料という新たなビジネスモデルによって話題になったOA雑誌であるが、その他の取り組みとして査読者と著者の同意があった場合、査読レポート等の査読のプロセスも公開している(39)。この査読プロセスを全てねつ造するにはさすがに手間がかかるため、この取り組みは査読を行っていることを保証するものとなりうる。ただし、査読者の氏名を公開すると若手研究者など、立場が弱い者が自由に意見を述べられなくなる可能性も指摘されており、他の雑誌等にもこの試みが広まるかは定かではない。その他には、査読者の業績等に基づく、査読の質に関する評価指標構築の試み等も行われており、普及すれば査読を行っていることの保証としても使える可能性がある(40)。
６．おわりに
前述のとおり、SCIgenで生成された論文については既に特定する手法が開発されている。しかしSCIgen以外に新たなツールが開発されたり、あるいはそもそもツールを使わず人の手で、質の低い論文やでたらめな論文が作られ、実際には査読の行われていない「査読誌」に掲載されていた場合は、現状、読んでみるまで真っ当な論文かどうかを知る術はない。例えば研究助成応募者の業績欄や、研究成果報告書の成果欄にそうした論文が紛れていたとして、審査者は気付くことができるだろうか。
日常的に使っている雑誌を離れた場合には、そもそも「質のフィルター」としての査読が存在するのかどうか、たとえそれが「査読がある」と名乗っている雑誌であっても、疑ってかからねばならない。それが査読をめぐる、新たな問題である。
(1) Van Noorden, R. Publishers withdraw more than 120 gibberish papers. Nature News. 2014-02-24.
http://dx.doi.org/10.1038/nature.2014.14763, (accessed 2014-06-18).
(2) 査読についてはピアレビュー（Peer review）やレフェリーシステム（Referee system）など複数の呼び方があるが、それぞれに意味する範囲が異なり、ピアレビューと言った場合には研究助成や研究者の任用時に行われる、他の研究者からの評価をも含む。本稿では主として論文の審査制度を対象に「査読」の語を用いる。
(3) このような他の研究者による審査により論文の採否を決定する制度は17世紀半ばに創刊した、初期の学術雑誌においても既に存在していたことが明らかになっている。詳しくは以下も参照:
・山崎茂明. パブリッシュ・オア・ペリッシュ. みすず書房, 2007, 163p.
・Zuckerman, H. et al. Patterns of evaluation in science:
Institutionalisation, structure and functions of the referee system. Minerva. 1971, 9(1), p. 66-100.
(4) 山崎茂明. 学術雑誌のレフェリーシステム. 科学. 1989, 59(11), p. 746-752.
(5) 倉田敬子. 学術情報流通とオープンアクセス. 勁草書房, 2007, 196p.
(6) Goodman, S. N. et al. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Annals of Internal Medicine. 1994, 121(1), p. 11-21.
(7) 山崎茂明. 科学者の不正行為. 丸善出版, 2000, 195p.
(8) Bornmann, L. Scientific peer review. Annual Review of Information Science and Technology. 2011, 45(1), p. 197-245.
(9) Abelson, P. H. Scientific communication. Science. 1980, 209(4452), p. 60-62.
(10) Ware, Mark et al. Peer review in scholarly journals. Publishing Research Consortium, 2008.
http://www.publishingresearch.org.uk/PeerReview.htm, (accessed 2014-06-18).
(11) 山崎茂明. 科学者の不正行為. 丸善出版, 2000, 195p.
(12) Ware. op. cit.
(13) PLOS ONE Journal Information. PLOS ONE.
http://www.plosone.org/static/ publication, (accessed 2014-06-18).
(14) ガーベイ，ウィリアム D. コミュニケーション. 津田良成監訳, 高山正也ほか訳. 敬文堂, 1981, 302p.
(15) The COPE Report 2005. Committee on Publication Ethics. 2005, 23p.
http://publicationethics.org/annualreport/2005, (accessed 2014-06-18).
(16) 山崎茂明. 学術雑誌のレフェリーシステム. 科学. 1989, 59(11), p. 746-752.
(17) Bornmann, L. Scientific peer review. Annual Review of Information Science and Technology. 2011, 45(1), p. 197-245.
(18) Bornmann, L. Scientific peer review. Annual Review of Information Science and Technology. 2011, 45(1), p. 197-245.
(19) Peters, D. P. et al. Peer-review practices of psychological journals. Behavioral and Brain Sciences. 1982, 5(2), p.182-255.
(20) Lee, C. J. et al. Bias in peer review. Journal of the American Society for Information Science and Technology. 2013, 64(1), p.2-17.
(21) Bornmann, L. et al. Convergent validation of peer review decisions using the h index. Journalf of Informetrics. 2007, 3(1), p. 204-213.
(22) Lee. op. cit.
(23) Horrobin, D. F. The philosophical basis of peer review and the suppression of innovation. The Journal of the American Medical Association. 1990, 263(10), p. 1438-1441.
(24) Bornmann, L. Scientific peer review. Annual Review of Information Science and Technology. 2011, 45(1), p. 197-245.
(25) 査読に対してはそのほかに、論文の内容に誤りが含まれていた場合や、意図的なねつ造等の不正行為が行われた場合、それを発見できないことが多い、ということがしばしば問題として指摘される。しかしこの点については、「それは査読の問題ではない」というべきだろう。査読では書かれた内容の論理的妥当性等は検証できても、記述やデータ自体の誤りや偽りまで検証できるものではなく、その役割が期待されるものでもない。編集者によるチェック体制の整備やチェックシステムの普及等、査読以外の方法で対応することが期待される。
(26) Lee. op. cit.
(27) Ball, P. Computer conference welcomes gobbledegook paper. Nature. 2005, 434(7036), p. 946-946.
(28) Peters. op. cit.
(29) ただしこれらの実験には査読者や編集者に迷惑をかけるなど、研究手法に倫理上、問題があることも指摘されている。
(30) ソーカル事件については以下も参照。ただし、ソーカル事件の舞台となった雑誌は当時、査読制度がなく、ソーカルの論文は編集者の判断により掲載されたものである：ソーカル, アランほか. 「知」の欺瞞. 田崎晴明ほか訳. 岩波書店, 2000, 338p.
(31) SCIgen – An Automatic CS Paper Generator.
http://pdos.csail.mit.edu/scigen/, (accessed 2014-06-18).
(32) Davis, P. “Open access publisher accepts nonsense manuscript for dollars”. The scholarly kitchen. 2009-06-10.
http://scholarlykitchen.sspnet.org/2009/06/10/nonsense-for-dollars/, (accessed 2014-06-18).
(33) Bohannon, J. Who’s afraid of peer review?. Science. 2013, 342(6154), p. 60-65.
(34) OA雑誌のビジネスモデルが如何にして確立しているかについては、以下の佐藤の論文も参照: 佐藤翔. オープンアクセスの広がりと現在の争点. 情報管理. 2013, 56(7), p.414-424.
(35) 実際にはScience誌での実験で示されたとおり、ハゲタカ出版者に限らずElsevier等の大手商業出版者でも査読を本当に行っているのか疑われている雑誌を出していることがある。出版者単位、個別の雑誌単位でのリストは以下のサイトにまとめられている： Beall, J. Scholarly Open Access.
http://scholarlyoa.com/, (accessed 2014-06-18).
(36) Van Noorden, R. Company offers portable peer review. Nature. 2013, 494(7436), p. 161-161.
(37) Van Noorden. op. cit.
(38) 以下のサイトでSCIgenで生成された論文か否かをチェックできる： SCIgen detection website.
http://scigendetection.imag.fr/main.php, (accessed 2014-06-18).
(39) “The Reception to PeerJ’s Open Peer Review”. PeerJ the blog. 2013-02-15.
http://blog.peerj.com/post/43139131280/the-reception-to-peerjs-open-peer-review, (accessed 2014-06-18).
(40) 査読の質を評価する新たな指標：preSCORE. USACO News. 2014, 247.
http://www.usaco.co.jp/itemview/template44_3_7609.html#a00, (accessed 2014-06-18).
［受理：2014-08-18］
佐藤翔. 査読をめぐる新たな問題. カレントアウェアネス. 2014, (321), CA1829, p. 9-13.
http://current.ndl.go.jp/ca1829
Sato Sho.
An Emerging Problem in Peer Review Practices.
本著作（CA1829）はクリエイティブ・コモンズ 表示 2.1 日本 ライセンスの下に提供されています。ライセンスの内容を知りたい方はhttp://creativecommons.org/licenses/by/2.1/jp/ でご確認ください。
