カレントアウェアネス
No.349 2021年09月20日
CA2005
DORAから「責任ある研究評価」へ：研究評価指標の新たな展開
政策研究大学院大学：林 隆之（はやしたかゆき）
京都大学学術研究支援室： 佐々木 結（ささきゆう）
1．はじめに
研究評価は、大学等への資金配分や、研究者の業績評価等、さまざまな場面で行われている。その中でも資金助成や雇用・昇進等のための評価の際に、ジャーナル・インパクト・ファクター（IF）等雑誌ベースの数量的指標を一律に用いることは慎むべき、という提言はこれまでにしばしばなされてきた。雑誌ベースの指標は個々の論文の質を直接反映しておらず、また、研究の多様な側面における質を示せないため、特に個々の研究課題や個人の評価における指標としては不適切になるためである。有名な提言は「研究評価に関するサンフランシスコ宣言（DORA）」(1)であり、既に2013年5月に発表されている。最近になり、このような考えは「責任ある研究評価」という新たな用語のもとで国際的に広がりを示している。本稿では、DORAが提起した論点が現在、どのように拡大しているのか、それに対する日本の課題点は何であるかについて説明する。
2．DORA、ライデン声明、「メトリクスの潮流」報告書
DORAは2012年12月の米国細胞生物学会（ASCB）の年次大会において、学術雑誌の編集者や研究者が議論した内容をもとにまとめられた(2)。論文の質を測る尺度としてIFが誤用されている科学界の現状を内省し、採用・昇進・助成等個別の研究者や研究内容の評価においてIF等雑誌ベースの数量的指標を用いないことを勧告した。DORAは宣言の中で賛同者の署名を呼びかけ、2021年6月30日現在、署名機関は2,240機関、個人は1万7,627人に及ぶ(3)。
その後、類似する提言として、2015年に「研究計量に関するライデン声明」(4)および、「メトリクス（計量）の潮流」報告書（E1745参照）(5)が相次いで発表された。ライデン声明は、科学計量学の研究者らが、DORAの問題提起をより広い研究評価の文脈で捉え直し、ビブリオメトリクスの適正な利用を求めるとともに、研究評価設計の原則を述べたものである。定量的評価は、専門家による定性的評定の支援として用いるべきであること、英語以外の言語による研究や多様な引用慣行等に配慮し、データによる単純比較ができないことに留意すべきこと等、研究評価における定量的データの使用に関する10の原則を提唱した。
英国のイングランド高等教育財政カウンシル（HEFCE）からの委託調査として作成された「メトリクスの潮流」報告書は、英国における高等教育機関への経常的資金配分を目的として実施されている研究評価Research Excellence Frameworkにおいて、指標をいかに利用するかに関する報告である。ビブリオメトリクスを含む多様な指標による評価の可能性と課題を多面的に分析し、研究文化のガバナンス、データインフラの改善、既存データの利用向上、これらの論点を検討するフォーラム等の形成といった点から20の提言を行った。
3．責任ある研究評価
3.1 その定義と国際的広がり
一連の宣言・提言が注目を集める一方で、現実の研究評価制度や若手研究者の採用等の場面での慣行の変化は鈍いままであった。欧州大学協会による2019年の調査では、大学が研究者の評価をする時に重視する視点として、「研究出版物」と「外部研究費」が中心であり、そのうち、研究出版物の評価指標として、75%の大学がIFを使用している実態が明らかになった(6)。また、北米の研究機関における昇進・採用審査書類の調査からは、研究大学における昇進・採用審査書類の4割がIFに言及、さらにその内83％は使用を奨励しているという指摘もある(7)。議論だけで変化しない現実への不満は研究者のキャリアレベルを問わず表明されている(8)(9)。
そのためDORAは、もともとの母体である米国細胞生物学会のほか、PLOSやF1000等の出版社やウェルカム財団等の助成機関を含む9つの学術関連機関からの出資を受け、単なる提言から、専任スタッフを抱えた積極的なキャンペーン活動へと展開することとした (10)。設置されたDORA運営委員会は2018年、宣言の内容を現実の評価実践の変化に結びつけ、「学術文化を変える」ことを目的とする指針を定めた(11)。DORAはライデン声明や「メトリクスの潮流」の著者らを含む関係機関とのパートナーシップを構築し、ワークショップの開催や、各国大学等の優良事例、関係調査の集積や共同調査等を行っている。
さらにDORAに限らず、各国で既存の研究評価の見直しや新たな在り方を問う提言等が作成されており、近年、そのような考えを総称して「責任ある研究評価（Responsible Research Assessment：RRA）」という用語が用いられている。RRAとは、「多様で包摂的な研究文化のもとで、複数の異なる特性を有する質の高い研究を促し、把握し、報奨するような評価のアプローチを指す包括的用語」と定義されている(12)。「責任ある（responsible）」という表現は、欧州において2000年代から用いられ始め、欧州研究・イノベーション枠組み計画Horizon 2020にて横断的な焦点の一つとなった「責任ある研究・イノベーション（Responsible Research and Innovation：RRI）」の概念を前提としたものである(13)。
この「責任ある」という表現は、日本語に訳すと抽象的でわかりにくいが、RRIでは「責任ある」枠組みとは、①予見性（anticipation）、②再帰性（reflexivity）、③包摂性（inclusion）、④応答性（responsiveness）から構成されるとしている(14)。これらを研究評価に適用すれば、特定の研究評価の仕組みを用いることによって何が起こるかを常に予見し（予見）、現在の研究評価の仕組みをその前提から疑って限界を理解し（再帰）、被評価者を含めた多様なステークホルダーとの対話を通して評価の仕組みを検討し（包摂）、対話から得られる意見や情勢変化に対応（応答）するような研究評価の仕組みを形成していくことになる。
上述の「メトリクスの潮流」報告書では、既に「責任ある測定（Responsible Metrics）」という概念を提唱し、測定の在り方についての原則を提唱していた(15)。RRAという用語は、研究・イノベーションのガバナンスを対象とするRRIの概念と、それをミクロレベルで測定に焦点を置いて適用した「責任ある測定」の概念の間に位置する中間的な概念として構築されたものである。2020年11月には、各国の研究資金配分機関のネットワーク組織であるGlobal Research Council（GRC）がRRAをタイトルとする国際会議を開催しており、その準備のために作成されたレポートではRRAに相当する提言やイニシアティブが、少なくとも以下の表に示す15件存在することが示されている(16)。
表 「責任ある研究評価」に関連する提言等
|
「次世代メトリクスNext Generation Metrics」 (2017) 「出版モデル、評価、オープンサイエンス Publishing models, assessment, and open science」(2018) 「学術コミュニケーションにおける多言語使用に関するヘルシンキ提言Helsinki Initiative on Multilingualism in Scholarly Communication」(2019) 「研究評価プロセスに関する立場声明Position Statement on Research Assessment Processes」(2020) 「オープンサイエンスに向けた研究評価のロードマップ Roadmap on Research Assessment in the Transition to Open Science」(2018) 「研究を再考するReimagine Research」キャンペーン (2019) |
3.2 オープンサイエンスの推進と研究評価の見直し
RRAがさまざまなステークホルダーにより支持される背景の1つには、オープンサイエンスの展開がある。助成を受けた研究成果について完全即時のオープンアクセス（full and immediate OA）実現に取り組む研究助成機関等のコンソーシアムcOAlition Sは、2018年9月の声明においてDORAへの支持を表明した(17)。cOAlition S が推進するPlan S（CA1990参照）はそもそも、公的研究助成機関として、委託された公的資金の適切な使用に対する受託者責任を果たすために、出版物の有料購読の仕組みの完全な排除、すなわち完全即時のOAが望ましいという基本理念から始まった(18)。にもかかわらず研究者が有料購読型の出版物に研究結果を報告し続ける原因は、IF等の指標を重視して評価を行うような、間違った報奨の仕組みにあると認識し、その見直しを求めている。
欧州委員会（EC）では「オープンサイエンス下の報奨に関するワーキンググループ」を設置し、研究者によるオープンサイエンスの取組を拡大するためには、研究機関での人事評価（キャリアアセスメント）や研究助成機関での審査の評価基準にオープンサイエンス活動を含め、奨励することが重要と提言した(19)。欧州大学協会でも2018年に「オープンサイエンスに向けた研究評価のロードマップ」(20)を発表して情報共有や対話の場を形成すると宣言し、特に研究者の人事評価に関してDORAとも連携しながら欧州をはじめとした各国大学の事例調査等を進めている(21)。
欧州以外でも、従前からOAが先行していたラテンアメリカでは、OA学術雑誌ポータルサイトであるRedalycが2018年9月、参加機関にDORAへの署名を義務付けることを宣言し、同地域からの署名機関数が急増した(22)。2019年には、研究評価のためのラテンアメリカフォーラム（FOLEC）が組織され、OA等地域特有の出版慣行を考慮した研究評価手法の検討等を行っている(23)。中国でも2018 年にPlan Sを支持することを図書館や研究助成機関が表明し(24)、2020年には科学技術部と教育部からの文書にて、それまでの、Science Citation Indexへの収録を重視する「SCI崇拝」の風潮に別れを告げ、指標からピアレビュー重視への転換、中国国内のトップジャーナルへの出版促進が表明された(25)。
このようにIFの不適切利用を中心とした問題設定は、次第に、「責任ある研究評価」として、評価システムの在り方、ひいては研究文化のあり方を問う運動になっている。
4. 日本が直面する課題
このようなRRAの流れに対して、日本の反応は鈍い。DORAに署名する2,200以上の機関のうち、日本は3機関のみであり、大学や研究助成機関からの署名は無い。日本でも、「文部科学省における研究及び開発に関する評価指針」(26)等では、研究の多様性に配慮した評価を行うことの重要性が既に指摘されているが、文言以上の具体的な取組が進んでいる状況にはない。なぜ日本では問題意識が低いのか、いくつかの理由が考えられる。
日本では大学評価のような組織評価は、外部評価、認証評価、国立大学法人評価等、どれもピアレビューを重視しており、特定の指標によって機械的に評価がなされる仕組みは取られてこなかったことが挙げられる。
教員や研究者の評価については、特に国立大学の法人化以降、教員業績評価が多くの大学で導入され、指標も活用されてきた。2008年ならびに2015年に実施された教員業績評価に関する調査の結果からは、必ずしも多様な研究成果に配慮した測定や評価がなされてきたとは言えない。一方で、教員業績評価の結果は給与や賞与に一定程度活用されているものの、国立大学では教員人事（昇進等）とは切り離されている状況が示されており(27)、教員人事に定量的指標が強く影響してはいないと見られる。
それでも、医学部等の一部の分野においては、研究人材向けキャリア支援ポータルサイトJREC-IN Portal等に掲示される教員公募にて応募者にIFの明記を求める事例や、時にはIFの合計値を求める事例もあり、IFが採用の指標として使われている状況はみられる。それらの指標に秀でた研究者が採用され、後にそれらの人が評価実施側に回る形でこの仕組みが強化されていくと、RRAが提起するような問題が切実には認識されにくくなると考えられる。
しかし、状況は複数の面から変わりつつある。
第一には指標に基づく資金配分の増加である。2010年代半ばから複数の競争的資金配分において「被引用数の高い論文数」等の指標が使われるようになった。そうした流れに、世界大学ランキングの興隆も相まって、大学の評価室やリサーチ・アドミニストレーター（URA）等が論文データベース分析をIR（Institutional Research）として行ってきた。また、2019年度の国立大学の運営費交付金配分から、共通指標による配分が導入され、論文数を含む「実績に基づく配分（PBF）」が導入された(28)。さらに科学技術力の見える化のためのe-CSTI（内閣府エビデンスシステム）(29)が構築され、指標利用のインフラは格段に向上しつつある。このような状況に伴い、適切な評価や指標の在り方を真剣に検討する必要性が生じている。
第二には、上述のように、Plan Sとも連動したジャーナルの購読料問題である。教員の業績評価等においてIFや被引用数の指標を求めることは、IFの高いジャーナルへ論文を投稿し、論文処理費用（APC）を支払ってOA化して引用される機会を増すという行動を促す。これにより、IFの高い雑誌を発刊する商業出版社の地位がさらに強化され、ジャーナル購読料の交渉を難しくしている。ジャーナル問題の解決のためには、学術界における研究者の評価・報奨・インセンティブの仕組みを見直すことが必要となる(30)。
第三に、日本でもオープンサイエンスの促進は政策課題となっており、特に、COVID-19に関する研究では、研究成果がジャーナル論文で公表されるだけなく、プレプリントでの公表や、研究データ共有が重要になっている。この中で、日本独自のデータ共有プラットフォームを構築することとあわせて、多様なデータや研究成果のオープン化を積極的に評価して奨励する環境を形成することが課題である。既存の学術情報を前提とした評価の仕組みの再検討が必要となっている。
最後に、2021年3月に閣議決定された第6期科学技術・イノベーション基本計画で示されているように、人文・社会科学を含めた「総合知」に基づく社会変革型のイノベーション創出が求められている(31)。これは、多様な分野に適応しうる測定や評価の設計だけでなく、研究の社会的インパクトを、これまで以上に総合的な形で測定していく必要性も提起する。これには、英語論文を主体とするビブリオメトリクス指標による評価では対応できないだろう。
現在、日本学術会議においてRRAの考え方と同趣旨の提言を準備しており(32)、学術コミュニティ側からの意見表明として意義を持つものになることを期待したい。しかし、海外と同様に、大学協会、学部長会議、助成機関、大学評価機関が連携して、具体的な評価方法や基準を検討する段階まで進むことが必要である。
(1) 宣言の全文は25言語で公開されており、日本語訳もある。
“研究評価に関するサンフランシスコ宣言”. DORA.
https://sfdora.org/read/read-the-declaration-japanese, (参照 2021-06-27).
(2) オリジナル草案作成メンバーであるシュミット（Sandra L. Schmid）によると、MBoCやJCBといったASCBのジャーナルへの投稿が急に軒並み大きく減少（かつその原因がIFにあることが判明）したことが、DORA起草に至った理由の一つであったという。
Schmid, Sandra L. Five years post-DORA: promoting best practices for research assessment. Molecular Biology of the Cell. 2017, vol. 28, no. 22, p. 2941–2944.
https://doi.org/10.1091/mbc.e17-08-0534, (accessed 2021-06-27).
“How to Strengthen Hiring Practices at Academic Institutions: an Interview with Dr. Sandra Schmid”. DORA. 2018-05-15.
https://sfdora.org/2018/05/15/how-to-strengthen-hiring-practices-at-academic-institutions-an-interview-with-dr-sandra-schmid, (accessed 2021-06-27).
(3)“Signers”. DORA.
https://sfdora.org/signers/, (accessed 2021-06-30).
(4) Hicks, Diana. et al. The Leiden Manifesto for research metrics. Nature. 2015, vol. 520, p. 429-431.
https://doi.org/10.1038/520429a, (accessed 2021-06-27).
日本語訳は以下。
小野寺夏生，伊神正貫．研究計量に関するライデン声明について．STI Horizon. 2016, vol. 2，no. 4, p. 35-39.
http://doi.org/10.15108/stih.00050, (参照 2021-06-27).
(5) Wilsdon, James. et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE, 2015, 163p.
https://doi.org/10.13140/RG.2.1.4929.1363, (accessed 2021-06-27).
(6)“Research Assessment in the Transition to Open Science”. European University Association. 2019-10-22.
https://eua.eu/resources/publications/888:research-assessment-in-the-transition-to-open-science.html, (accessed 2021-06-27).
(7) McKiernan, Erin C. et al. Meta-Research: Use of the journal impact factor in academic review, promotion, and tenure evaluations. eLife. 2019.
https://doi.org/10.7554/eLife.47338, (accessed 2021-06-12).
(8) Johnston, Mark. We Have Met the Enemy, and It Is Us. Genetics. 2013, vol. 194, no. 4, p. 791–792.
https://doi.org/10.1534/genetics.113.153486, (accessed 2021-06-27).
(9) Tregoning, John. How will you judge me if not by impact factor?. Nature. 2018, vol. 558, p. 345.
https://doi.org/10.1038/d41586-018-05467-5, (accessed 2021-06-27).
(10)Curry, Stephen. Let’s move beyond the rhetoric: it’s time to change how we judge research. Nature. 2018, vol. 554, p. 147.
https://doi.org/10.1038/d41586-018-01642-w, (accessed 2021-06-27).
(11)“Introducing a Roadmap for DORA”. DORA. 2018-06-28.
https://sfdora.org/2018/06/28/introducing-a-roadmap-for-dora/, (accessed 2021-06-27).
“DORA Roadmap: A two-year strategic plan for advancing global research assessment reform at the institutional, national, and funder level”. DORA. 2018-06-27.
https://sfdora.org/2018/06/27/dora-roadmap-a-two-year-strategic-plan-for-advancing-global-research-assessment-reform-at-the-institutional-national-and-funder-level/, (accessed 2021-06-27).
(12)Curry, Stephen. et al. The changing role of funders in responsible research assessment: progress, obstacles and the way ahead. Research on Research Institute, 2020, p. 7.
https://doi.org/10.6084/m9.figshare.13227914.v1, (accessed 2021-06-27).
(13)RRI概念については、以下に詳しい。
吉澤剛. 責任ある研究・イノベーション：ELSIを超えて. 研究 技術 計画. 2013, 28(1), p. 106-122.
https://doi.org/10.20801/jsrpim.28.1_106, (参照 2021-06-27).
平川秀幸. 責任ある研究・イノベーションの考え方と国内外の動向. 文部科学省安全・安心科学技術及び社会連携委員会（第7回）. 2015-04-14.
https://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/064/shiryo/__icsFiles/afieldfile/2015/07/10/1359391_04.pdf, (参照 2021-06-28).
標葉隆馬. 責任ある科学技術ガバナンス概論. ナカニシヤ出版, 2020, p. 222-224.
(14)Stilgoe, Jack.; Owen, Richard.; Macnaghten, Phil. Developing a framework for responsible innovation. Research Policy. 2013, vol. 42, no. 9, p. 1568–1580.
https://doi.org/10.1016/j.respol.2013.05.008, (accessed 2021-06-27).
(15)具体的には、データの正確性を求める「頑健性」、定量的評価は定性・専門家評価を支援すべきであることを認める「謙虚さ」、データと分析プロセスの公開性・透明性の確保と、結果の妥当性検証を担保すべきという「透明性」、分野に応じた説明、研究者や研究者のキャリアパスの多層性を反映・支援するような指標の使用を求める「多様性」、そして指標がもつ潜在的かつ組織の効果に応じた更新の必要性を強調する「再帰性」の5原則を提唱した。また、報告書以降に責任ある測定のための英国フォーラム（UK Forum for Responsible Metrics）というグループが立ち上げられ、優良事例の共有など現在も継続されている。
(16)Curry. et al. op. cit., p. 7-16.
(17)“Why Plan S?”. Plan S. 2018-09-04.
https://www.coalition-s.org/why-plan-s/, (accessed 2021-06-27)
(18)“Plan S”. cOAlition S.
https://web.archive.org/web/20180904122211/https://www.scienceeurope.org/wp-content/uploads/2018/09/Plan_S.pdf, （accessed 2021-06-27）.
(19)European Commission Working Group on Rewards under Open Science. Evaluation of Research Careers fully acknowledging Open Science Practices. 2017, 28p.
https://op.europa.eu/en/publication-detail/-/publication/47a3a330-c9cb-11e7-8e69-01aa75ed71a1, (accessed 2021-06-27).
(20)“EUA Roadmap on Research Assessment in the Transition to Open Science”. European University Association. 2018-06-18.
https://www.eua.eu/resources/publications/316:eua-roadmap-on-research-assessment-in-the-transition-to-open-science.html, (accessed 2021-06-27).
(21)European University Association. op. cit.
Saenen, Bregt. et al. Reimagining Academic Career Assessment: Stories of innovation and change. 2021-01-14. https://eua.eu/resources/publications/952, (accessed 2021-06-27).
(22)“Redalyc and the journals it indexes adhere to DORA declaration recognizing the urgent need to improve the way in which the published science is assessed.”. redalyc.org. 2018-09-19.
https://www.redalyc.org/redalyc/periscopio/dora-en.html, (accessed 2021-06-27).
(23)“What is the FOLEC?”. CLACSO.
https://www.clacso.org/en/folec/que-es-el-folec/, (accessed 2021-06-27).
(24)Quirin Schiermeier. China backs bold plan to tear down journal paywalls. Nature. 2018, vol. 564, p. 171-172.
https://doi.org/10.1038/d41586-018-07659-5, (accessed 2021-06-27).
(25)Zhang, Lin.; Sivertsen, Gunnar. The New Research Assessment Reform in China and Its Implementation. Scholarly Assessment Reports. 2020, vol. 2, no. 1, p. 1–7.
https://www.scholarlyassessmentreports.org/articles/10.29024/sar.15/, (accessed 2021-06-27).
(26)文部科学省. 文部科学省における研究及び開発に関する評価指針. 文部科学省, 2017, 64p.
https://www.mext.go.jp/component/a_menu/science/detail/__icsFiles/afieldfile/2017/05/02/1314492_1.pdf, (参照 2021-06-27).
(27)嶌田敏行, 奥居正樹, 林隆之. 日本の大学における教員評価制度の進捗とその課題. 大学評価・学位研究. 2009, 10, p. 59-78.
http://id.nii.ac.jp/1107/00000110/, (参照 2021-06-27).
株式会社三菱総合研究所. 効果的・効率的な研究開発評価及び研究者等個人の業績に関する評価の先進事例に関する調査・分析. 2008, 132p.
https://www.mext.go.jp/component/a_menu/science/detail/__icsFiles/afieldfile/2010/08/23/1296567_1_1.pdf, (参照 2021-06-27).
株式会社三菱総合研究所. 研究者等の業績に関する評価に関する調査・分析報告書. 2015, 117p.
https://www.mext.go.jp/component/a_menu/science/detail/__icsFiles/afieldfile/2015/05/20/1357995_01.pdf, (参照 2021-06-27).
(28)令和元年度国立大学法人運営費交付金における新しい評価・資源配分の仕組みについて. 文部科学省.
https://www.mext.go.jp/content/1417264_001.pdf, (参照 2021-06-27).
(29)e-CSTI.
https://e-csti.go.jp/, (参照 2021-06-27).
(30)文部科学省 科学技術・学術審議会 情報委員会 ジャーナル問題検討部会. 我が国の学術情報流通における課題への対応について（審議まとめ）. 2021, 20p.
https://www.mext.go.jp/content/20210212-mxt_jyohoka01-000012731_1.pdf, (参照 2021-06-27).
(31)科学技術・イノベーション基本計画. 内閣府, 2021, 84p.
https://www8.cao.go.jp/cstp/kihonkeikaku/6honbun.pdf, (参照 2021-06-27).
(32)日本学術会議. 学術フォーラム：学術振興に寄与する研究評価を目指して 趣旨説明資料. 2020, 11p.
http://www.scj.go.jp/ja/event/pdf2/287-s-0829-t0.pdf, (参照 2021-06-27).
［受理：2021-08-03］
林隆之, 佐々木結. DORAから「責任ある研究評価」へ：研究評価指標の新たな展開. カレントアウェアネス. 2021, (349), CA2005, p. 12-16.
https://current.ndl.go.jp/ca2005
DOI:
https://doi.org/10.11501/11727159
Hayashi Takayuki
Sasaki Yu
From DORA to “Responsible Research Assessment”: New Developments in Research Metrics.
