E1745 – 研究評価における評価指標の役割:HEFCEの報告書より

 

カレントアウェアネス-E

No.294 2015.12.10

 

 E1745

研究評価における評価指標の役割:HEFCEの報告書より

 

 近年,競争的な研究開発環境の創出や効率的・重点的な資源配分,社会への説明責任の履行を目的に,研究者等を対象とした研究評価が一層求められており,より効率的・効果的な評価手法の模索が続けられている。主要な研究評価手法としてピアレビューが広く採用されているが,レビュアーのバイアスや評価にかかるコスト削減が課題となっている。また,ビッグデータによる分析が可能となったことを受け,ピアレビューに代わる,より低コストで効率のよい計量的な評価手法への期待が高まりをみせている。しかしながら,指標が依拠する前提や限界をよく理解せずに誤用するケース(例えば,本来学術雑誌の評価指標であるインパクトファクターを研究者の評価に用いるなど)が散見される。

 英国高等教育助成会議(Higher Education Funding Council:HEFCE)は,上記のような状況をふまえ,研究評価における評価指標の役割と,計量的な評価手法によるピアレビューの代替可能性について,2014年から2015年初頭にかけて調査を行った。調査では,研究評価指標の使用やその有用性について情報提供を求めたほか,包括的な文献レビュー,ワークショップ,Twitterを含むメディアなど多様な調査手法が用いられた。このほか,大学を対象として英国が実施している研究評価の枠組みであるResearch Excellence Framework(REF)2014の評価結果も用いて分析を行い,その結果を報告書“The Metric Tide:Report of the Independent Review of the Role of Metrics in Research Assessment and Management”として2015年7月に公表した。

 調査結果の分析によって得られた主な知見は以下のとおりである。

  • ピアレビューは,公平性や透明性,コスト面等において問題があるものの,分野を問わずそれぞれの研究分野の文脈に応じた評価が可能なことから,現時点では最も過誤の少ない評価手法といえる。
  • 評価指標は,Web of ScienceやScopusなどのデータベースのデータを用いて算出されることが多いが,各々のデータは標準化されておらず,全分野の研究成果物をカバーできていない。また,分野による差異(研究成果物の重要度の違いや引用パターン等)や学際的研究についても十分に考慮されていないことから,全分野を対象として公平に評価できない。したがって,現時点ではピアレビューの役割を代替できる指標は存在しない。
  • 注意深く選択された評価指標は,レビュアーの研究評価に関する意思決定を補完しうるが,研究の多様性を踏まえ,専門家による判断のほか,定性的評価と組み合わせて用いる必要がある。
  • 一部の評価指標は誤用されているか,もしくは「ゲーム化」しており,その典型例はインパクトファクターや論文の被引用数,大学のランク付けである。  

 さらに,レポートは上記結果をふまえ,以下の提言で締めくくられている。 

◯信頼できる計量的な評価手法

 研究の管理,運営,評価における評価指標の適正な使用を促すものとして,以下の性質を備えた信頼できる計量的な評価手法の概念を提案する。 

  • ロバスト性(robustness):精度と対象分野の範囲において,可能な限り最良のデータに基づいた手法であること
  • 慎ましさ(humility):定量的指標は,定性的評価や専門家による評価に取って代わるものではなく,それらを補完するものであると認識すること
  • 透明性(transparency):被評価者が評価結果を検証できるように,データを保持し,評価過程の透明性を確保すること
  • 多様性(diversity):分野による差異を考慮し,研究者のキャリア形成や研究の多様性を反映し支持するため,多様な指標を用いること
  • 再帰性(reflexivity):指標の評価システム全体への効果や潜在的な効果を予測し認識すること,またそれに応じて指標を更新すること 
◯学界における効果的なリーダーシップ,管理,運営

 評価指標や定量的データを研究の管理・運営・評価に用いる者は,指標の前提や限界に留意するとともに,明確な使用方針・基準を定め,研究データ基盤の透明性と汎用性の向上に努めるべきである。 

◯研究情報管理のためのデータ,情報基盤の改善

 全ての研究成果物へのDOIの付与や,個々の研究者に付与される識別子ORCID(CA1740参照),国際標準名称識別子ISNIの取得の義務化を進めていく必要がある。

◯データや情報源の有用性の向上

 HEFCEや研究助成機関等はREFのサポートのため,既存のプラットフォームにおけるデータの活用方法を模索する必要があり,その逆も同様に求められる。 

◯次期REFにおける計量的な評価手法の使用

 研究評価では,引き続き計量的な評価手法がピアレビューの参考情報として活用され,将来的にはその役割は拡大していくと考えられる。研究が社会に与えた影響を評価するインパクト評価については,今後評価指標を適用するためのガイドライン策定に資するREF2014でのインパクトケーススタディの分析を勧める。また,研究環境評価において,そのデータがどのような意味をもっているか解釈できるよう十分な情報を提供したうえで,定量的データを活用することを勧める。 

◯コーディネート活動およびエビデンスの構築

 高等教育機関は研究助成機関や出版社,データ提供者等と信頼できる計量的な評価手法に関するフォーラムを開催し,データの標準化や情報公開,汎用性・透明性の確保について検討を行うべきである。また,研究助成機関は「研究に関する研究」に投資すべきである。

 国内に目を向けると,2016年度から始まる第3期中期目標期間において,国立大学法人では研究成果を検証するため,各大学で評価指標を設定することとなっている。指標の前提と限界をふまえた適正な活用と,HEFCEの提案にあるような,信頼できる計量的な評価手法に沿う指標が提示されることを期待したい。

筑波大学大学院図書館情報メディア研究科・武井千寿子

Ref:
http://www.hefce.ac.uk/
http://www.hefce.ac.uk/news/newsarchive/2014/Name,100775,en.html
http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/
http://www.mext.go.jp/component/b_menu/shingi/toushin/__icsFiles/afieldfile/2015/06/16/1358943_2.pdf
http://www.hefce.ac.uk/media/HEFCE,2014/Content/Pubs/Independentresearch/2015/The,Metric,Tide/2015_metric_tide.pdf
E1726
CA1559
CA1740