2021年7月29日、オープンアクセス出版社・PLOSは、研究者が研究の信頼性・インパクトをどう評価しているかを調査したレポート“Researchers’ Goals When Assessing Credibility and Impact in Committees and in Their Own Work”を公開しました。本調査は、スローン財団（Alfred P. Sloan Foundation）からの助成を受け、米国細胞生物学会の協力を得て実施されました。報告書公開時点では未査読です。
細胞生物学分野の研究者52人への半構造化インタビューに基づく定性調査であり、研究者が（1）自ら研究を行う時、（2）採用や助成金審査のための委員会に参加する時、の二つのシチュエーションにおいて、研究成果をどう評価しているかを調査しています。
（1）で最も関心が寄せられるのは研究成果の信頼性、（2）ではインパクトが強く意識される、という当初の仮説が今回の調査により確認されたとしています。その一方で、（2）においても予想以上に信頼性の評価が行われていたこと、研究者は再現性、品質、新規性の点でも評価していることにも触れています。
また、インパクトファクターのような学術誌レベルの代理指標（proxies）が（1）（2）に共通して広く利用されていることを指摘し、今回の調査結果が、このような学術誌レベルの指標よりも信頼性の高いシグナル（signals）を提供する機会につながる可能性に言及しています。
Impact AND credibility matter when researchers evaluate research（PLOS, 2021/7/29）
https://theplosblog.plos.org/2021/07/impact-and-credibility-matter-when-researchers-evaluate-research/
Researchers’ Goals When Assessing Credibility and Impact in Committees and in Their Own Work（OSF Preprints）
https://doi.org/10.31219/osf.io/ryds4
参考：
研究者へのアンケート調査に基づくプレプリントの信頼性の評価（文献紹介）
Posted 2020年11月26日
https://current.ndl.go.jp/node/42617
英・CIBER Research社と米・Cabells社、研究者・研究支援者によるジャーナルの品質と信頼性の評価に関する共同調査の報告書を公開
Posted 2020年9月17日
https://current.ndl.go.jp/node/42030
