2015年7月9日、英高等教育助成会議(HEFCE)は研究評価における評価指標(metrics)の役割に関するレポート、”The Metric Tide”を公開しました。
このレポートはサセックス大学のJames Wilsdon教授を議長とする研究グループの調査に基づくものです。研究グループでは文献調査や関係者へのフォーカス・グループ、ワークショップ等によってエビデンスを収集したほか、HEFCE等が実施している英国高等教育機関の研究評価活動、Research Excellence Framework(REF)の2014年の各大学スコアと、各種研究評価指標間の関係を分析しました。
レポートのExecutive Summaryでは調査結果に基づき、以下のような指摘・提案を行っています。
・ピア・レビューは、その欠点にも関わらず、研究業績を評価する基礎となるものとして支持されている。ただし、適切な注意を払った上で研究評価指標の利用を拡大することを強く支持する声も少なからず存在する。
・慎重に選ばれた研究評価指標は意思決定を補うものになりうる。ただし、研究の多様性を尊重した上で、量的指標と質的評価を組み合わせることが必要である。
・一部の評価指標は誤用されている、あるいは「ゲーム」の対象となってしまっている。「雑誌のインパクトファクター」、「大学ランキング」、「被引用数」が特に誤用されている指標である。
・REFの分析の結果、REFにおけるピア・レビューの役割を完全に代替できるような指標は存在しなかった。
・REFにおける研究業績の評価を量的指標のみによって行うことはふさわしくないことがわかった。
・REFにおいて、個別事例を分析する代わりに量的指標を用いることも不適切であることがわかった。
The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management(HEFCE)
http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/
Independent review of the role of metrics in research assessment(HEFCE)
http://www.hefce.ac.uk/rsrch/metrics/
We need a measured approach to metrics(Nature、2015/7/8付け)
http://www.nature.com/news/we-need-a-measured-approach-to-metrics-1.17928
参考:
英国の高等教育機関の研究評価を行う“Research Excellence Framework”が、評価結果を公表
Posted 2015年1月5日
http://current.ndl.go.jp/node/27735