オープンアクセス出版社・PLOS、研究者が研究の信頼性・インパクトをどう評価しているかを調査したレポートを公開

2021年7月29日、オープンアクセス出版社・PLOSは、研究者が研究の信頼性・インパクトをどう評価しているかを調査したレポート“Researchers’ Goals When Assessing Credibility and Impact in Committees and in Their Own Work”を公開しました。本調査は、スローン財団(Alfred P. Sloan Foundation)からの助成を受け、米国細胞生物学会の協力を得て実施されました。報告書公開時点では未査読です。

細胞生物学分野の研究者52人への半構造化インタビューに基づく定性調査であり、研究者が(1)自ら研究を行う時、(2)採用や助成金審査のための委員会に参加する時、の二つのシチュエーションにおいて、研究成果をどう評価しているかを調査しています。

(1)で最も関心が寄せられるのは研究成果の信頼性、(2)ではインパクトが強く意識される、という当初の仮説が今回の調査により確認されたとしています。その一方で、(2)においても予想以上に信頼性の評価が行われていたこと、研究者は再現性、品質、新規性の点でも評価していることにも触れています。

また、インパクトファクターのような学術誌レベルの代理指標(proxies)が(1)(2)に共通して広く利用されていることを指摘し、今回の調査結果が、このような学術誌レベルの指標よりも信頼性の高いシグナル(signals)を提供する機会につながる可能性に言及しています。

Impact AND credibility matter when researchers evaluate research(PLOS, 2021/7/29)
https://theplosblog.plos.org/2021/07/impact-and-credibility-matter-when-researchers-evaluate-research/

Researchers’ Goals When Assessing Credibility and Impact in Committees and in Their Own Work(OSF Preprints)
https://doi.org/10.31219/osf.io/ryds4

参考:
研究者へのアンケート調査に基づくプレプリントの信頼性の評価(文献紹介)
Posted 2020年11月26日
https://current.ndl.go.jp/node/42617

英・CIBER Research社と米・Cabells社、研究者・研究支援者によるジャーナルの品質と信頼性の評価に関する共同調査の報告書を公開
Posted 2020年9月17日
https://current.ndl.go.jp/node/42030