カレントアウェアネス-E
No.492 2024.12.05
E2753
研究評価における定量的指標の使用に関するDORAの手引きの意義
新潟大学教育研究院人文社会科学系・白川展之（しらかわのぶゆき）
●はじめに
2024年5月6日、研究評価に関するサンフランシスコ宣言（DORA；CA2005、E2561参照）が、研究評価における定量的指標の責任ある使用に関する新たな手引きを公開した。手引きは、「責任ある研究評価」（RRA）など、近年の研究評価改革の流れを踏まえた、定量的指標の使用における5つの基本原則と各指標の限界について解説している。本稿では、その概要と推奨されているメタ評価ツールについて紹介し、研究評価における実践的な意義について述べる。
●策定の背景
DORAは2012年の提言以来、ジャーナル・インパクトファクター（JIF；E2632参照）に偏重した評価への問題提起を行い、「研究計量に関するライデン声明」とも並び研究評価改革に貢献してきた。しかし近年、JIF以外の定量的指標の使用についても手引きを求める声が高まり、今回の策定に至った。
●DORAへの署名状況
資金配分機関・研究機関・学協会・個人がDORAへ署名しており、2024年11月現在で世界では3,353機関、日本では19機関が署名している。2021年9月に医薬基盤・健康・栄養研究所、2023年1月に科学技術振興機構（JST）、同年12月には東京大学、2024年2月には日本科学振興協会（JAAS）が署名した。
●定量的指標使用の5つの基本原則
適切な研究評価の構築へ貢献する観点から、定量的指標の無批判な使用を抑制し、評価プロセスの透明性と公平性を向上させるための原則を示している。
- 明確性（Be clear.）：研究評価への指標利用の際の根拠を明確化すること
- 透明性（Be transparent.）：研究評価の定量的指標は研究コミュニティとの対話を通じて基準を設計・公開し、透明性を確保した上で、評価者と被評価者の双方が、定量的指標の意味と限界を理解し、評価を実施すること
- 具体性（Be specific.）：集計指標（JIF、h-index等）は、研究実績の差異や変動を丸めてしまい、大学ランキングやオルトメトリクスなどの複合指標は、異なる要素の重み付けが恣意的なため、慎重な解釈が必要なこと
- 状況への配慮（Be contextual.）：研究評価の代理指標（被引用数やh-index）は、研究の質や価値を直接測定できず、研究者の状況（年齢・分野・キャリア中断等）も考慮していないため、指標は参考として、文脈を考慮した総合評価を実施すること
- 公正性（Be fair.）：客観的に見える書誌学的指標（論文出版や引用）にある構造的・個人的バイアスを認識し、定性・定量両面の評価バイアスに留意しつつ意思決定の透明性を担保すること
●主な定量的指標の限界
JIF批判に留まらず、主要な定量的指標全般の限界を体系的に整理し、各指標の特徴と問題点を具体的に示し、適切な使用の判断材料を提供している。
- JIF：個々の論文の質を直接反映せず、分野間の引用パターンの違いを考慮していない
- 被引用数：時間経過による変動や分野による引用慣行の違いがある、否定的引用の区別が難しい
- h-index：キャリアステージや研究分野による偏りがあり、共著者の貢献度が不明確である
- オルトメトリクス：学術的価値との相関が不明確で、プラットフォームや地域による偏りがある
- フィールド正規化指標：分野分類や少数データでの信頼性低下などの課題があり、大規模データセットでの使用が推奨される
●推奨されている評価実施方法
手引きでは、研究評価のメタ評価ツールとして、国際研究マネジメント協会ネットワーク（INORMS）のSCOPEフレームワークと、DORAのSPACEルーブリックが推奨されている。
- SCOPEフレームワーク
研究管理者や研究評価の実施に関わる全ての人が活用できる5段階のプロセスとして以下を挙げている。
S: START with what you value（価値観からの出発）
C: CONTEXT considerations（文脈の考慮）
O: OPTIONS for evaluating（評価実践の選択肢検討）
P: PROBE deeply（深い探索・検証）
E: EVALUATE your evaluation（評価のメタ評価） - SPACEルーブリック
学生の教育効果の測定に用いられてきたルーブリックを、学術研究者のキャリアの評価に適用して、組織の現状評価・改善に利用するものである。
●おわりに
今回の手引きは、研究評価でメタ評価を行う具体的な評価改善ツールとともに提供され、研究評価における指標の乱用に対する批判を超えた実践的な内容となっている。日本の研究評価では、研究者個人の評価と組織の評価と政策の評価が混然一体となっており、現場では担当者が困惑する場面も多い。こうした中で、定量評価指標の特徴と限界を明確にすると同時に、研究評価の改善・見直しに実践的な処方箋をあわせて提示した点に、手引きの意義がある。今後の日本においても、「責任ある研究評価」が進展していくことが期待される。
Ref：
“DORA releases new guidance on research indicators”. DORA. 2024-05-06.
https://sfdora.org/2024/05/06/dora-releases-new-guidance-on-research-indicators/
DORA. Guidance on the responsible use of quantitative indicators in research assessment. Zenodo. 2024, 11p.
https://doi.org/10.5281/zenodo.10979644
日本科学振興協会研究環境改善WG. 研究評価における定量的指標の責任ある使用に関する指針（日本語訳）. note. 2024-05-12.
https://note.com/jaas_reiwg/n/n68e567de021b
INORMS Research Evaluation Group. The SCOPE Framework. 2023, 18p.
https://doi.org/10.26188/21919527.v1
Hatch, Anna; Schmidt, Ruth. SPACE to evolve academic assessment: A rubric for analyzing institutional conditions and progress indicators. Zenodo. 2021.
https://doi.org/10.5281/zenodo.4927604
標葉隆馬. 欧州における「研究評価の改革に関する合意」とその展開. カレントアウェアネス-E. 2022, (438), E2561.
https://current.ndl.go.jp/e2561
棚橋佳子. JCR2022にみるジャーナル・インパクトファクターと研究評価. カレントアウェアネス-E. 2023, (465), E2632.
https://current.ndl.go.jp/e2632
林隆之, 佐々木結. DORAから「責任ある研究評価」へ：研究評価指標の新たな展開. カレントアウェアネス. 2021, (349), CA2005, p. 12-16.
https://doi.org/10.11501/11727159
