近年、国内外において図書館の経営評価に大きな注目が集まっている。いわゆる行政(政策)評価や顧客満足(customer satisfaction: CS)への関心の高まりといった要因にも影響を受けながら、パフォーマンス指標等を活用して、図書館の業務・サービスの改善を計画的に実施しようとする動きが各種…
第1章 蔵書評価とその方法
1. 蔵書評価の方法的枠組み
(1) 図書館評価と蔵書評価
近年、国内外において図書館の経営評価に大きな注目が集まっている。いわゆる行政(政策)評価や顧客満足(customer satisfaction: CS)への関心の高まりといった要因にも影響を受けながら、パフォーマンス指標等を活用して、図書館の業務・サービスの改善を計画的に実施しようとする動きが各種の図書館で活発化しつつある(これに関する最近の国内動向については倉橋(2005)(1)によるレビューを参照)。
もともと、図書館界における「評価」に関する試みの歴史は長く、20世紀の前半より、数多くの知見が積み重ねられてきた。岸田(2004)(2)は、その歴史的な図書館評価論の系譜を図1-1のように要約している。
図1-1 図書館評価論の系譜(岸田(2004)(2)より抜粋)
このような図書館評価の歴史の中で、蔵書評価(collection evaluationまたはcollection assess-ment)は最も重要視され、独特の位置を占めてきた。これは、蔵書が図書館にとってのまさに「第一の」経営資源であるために他ならない。利用者の求める資料が当該図書館で直ちに利用可能であること、すなわち「利用可能性(availability)の向上」こそが、現代的な図書館サービスの理念に照らせば図書館にとっての最優先事項であり、そのために蔵書評価に関心が集まるのは自然な流れである。最近では、インターネットの発展に伴い、情報資源を直接的に所蔵しているかどうかを問わないアクセス可能性(accessibility)が脚光を浴びつつあるが、大部分の図書館資料が依然として非電子的な物理的形態のものであることを考えれば、蔵書評価の意義は少しも失われていないといえよう。
(2) 蔵書評価法の類別
これまでさまざまな蔵書評価法が提案・応用されてきたが、それらは大きく、
- 蔵書中心評価法
- 利用者中心評価法
の2つに分類できる(岸田(3)、三浦・根本(4)など)。蔵書中心評価法(collection-centered approach)は蔵書自体の質や量に着目する方法であり、それに対して、利用者中心評価法(user-centered approach)では、主として、実際の利用実績に基づいて評価がなされる。時には両者の境界を明確に区別することが難しい場合(あるいは両方のアプローチを組み合わせる場合)もあるが、蔵書評価法を整理する上で、これらの区分は重要である。
1) 蔵書中心評価法
蔵書中心評価法において、頻繁に用いられる方法としては、
- チェックリスト法
- コンスペクタス
の2つがある。チェックリスト法(check-list method)は、何らかの評価基準となる資料リストを用意し、それと自館の所蔵資料リストとを突き合わせ、所蔵状況を把握する方法である。例えば、ある国の全国書誌を基準リストとすれば、その国で出版された図書の所蔵率(またはカバー率)を算出できる。この方法では、当然のことながら、どのような基準リストを使用するかが重要な問題となる。これには、通常、
- 全国書誌や主題書誌、選定書誌、文献案内などの書誌類
- 蔵書目録や総合目録
- 引用文献リスト
などが利用される(特に、三浦・根本(4)は、網羅的な一般書誌あるいはそこからの抽出リストを用いる方法を、チェックリスト法の発展形態として「一般書誌抽出法」と呼んでいる)。
引用文献リストとしては、当該分野の基本的な図書中の文献リスト、学術雑誌等における引用文献が使われるが、大学図書館では、修士論文などの学内的な出版物中の引用文献リストが活用されることがある。その他、他の図書館での利用データや全国的な相互貸借データなども、貴重な基準リストとなる可能性もある。
チェックリストの1つとして、大規模な書誌ユーティリティのデータベースから抽出した資料リストが使える場合がある。その例として、OCLCのデータに基づく、OCLC/AMIGOS Collection Analysis CDを挙げることができる。これは、蔵書中心評価法のツールとして、1980年代にOCLCとAmigos Bibliographical Councilとによって開発された、10年分のOCLCの単行書データを含んだCDである。この種の蔵書評価法は、その後、OCLCによる自動的蔵書評価・分析サービス(Automated Collection Assessment and Analysis Services: ACAS)やWorld Cat Collection Analysis(3)に引き継がれている。
一方、コンスペクタス(Conspectus)は、蔵書における収集の程度を全体的に通覧できるように評価したものであり、その中でも1970年代後半から80年代にかけて開発された、米国のRLGによるものなどがよく知られている。典型的なコンスペクタスでは、蔵書全体をいくつかの分野・領域に階層的に分割し、それぞれに対して評価を行い、「0:収集対象でない、1:最小限レベル、2:基本情報レベル、3:教育的支援レベル、4:研究レベル、5:網羅的レベル」のようなコードを、「現時点での蔵書」と「実際の収集活動」の2つに関して付与する。レベルの付与が印象に左右されやすい、手間と時間がかかるなどの批判はあるものの、幅広く使われているようである(RLGコンスペクタスの問題点については中野(4)を参照)。
2) 利用者中心評価法
利用者中心評価法における主な情報源としては、
- 貸出データ
- 引用データ
の2つがある。どちらかと言えば、図書の評価には貸出データ、雑誌の評価には引用データが用いられる傾向にある。例えば、自館の貸出記録を使って、分野別に貸出延べ冊数を集計すれば、よく利用されている分野とそうでない分野とを識別できる。ただし、蔵書規模による影響を除くために、貸出延べ冊数を蔵書冊数で除した「蔵書回転率」を使うことが多い(すなわち、「蔵書回転率=蔵書1冊あたりの貸出回数」)。もし蔵書回転率の低い分野において相互貸借の請求が多ければ、その分野の蔵書構築に何らかの問題があると疑うことができる(それに対して、もし相互貸借の請求も少なければ、当該図書館の利用者にとってはある種「不要な」分野なのかもしれない)。また、蔵書回転率の極端に高い分野に関しては、予算の重点的な配分などの措置を取ることが求められるかもしれない。
3) 利用可能性調査
欧米を中心に、研究・実践が積み重ねられてきた利用可能性調査(availability test)も、一種の蔵書評価として捉えることが可能である。これに関してはKantor(5)による、いわゆる「分岐法(branching method)」がよく知られている。これは、ある利用者が望みの資料をその図書館に入手するまでには、
- その図書館がその資料を所蔵しているか、
- 正しく目録が作成されているか、
- 製本中や他人の貸出中ということはないか、
- 書架上に正しく配置されているか、
などのいくつかの「関門」があることに着目し、それぞれの段階を無事に通過する確率をデータから計算する方法である。単なる所蔵の有無に留まらない、資料提供サービスに関する総合的な評価を実行できる点に大きな特徴がある。なお、類似の評価法として、Orr(6)による文献提供テスト(document delivery test: DDT)がある。この場合には、文献が利用者に提供されるまでの時間に基づいて「Capability Index」が算出される。
利用可能性調査の場合、利用者の望みの資料が実際にその図書館で利用できるかどうかを上記の段階に従って順次調べる必要があり、大規模なデータを正確に収集する点に難しさがある。そのため、結果の信頼性の確保に難点があり、それほど幅広くは使われていないが、最近でもいくつかの実践例は報告されている(後述)。
(3) 全国的・地域的なレベルでの蔵書評価および複数の図書館での比較
単館単位の分析ではなく、全国レベルまたは地域レベルでの包括的な収蔵状況を評価することがある。例えば、特定言語の外国図書や外国雑誌が国内でどれだけ利用可能かを把握することは、国内における情報の供給という観点からは重要である。
また、複数の図書館から成るグループの中での蔵書の重複分析(overlap analysis)というかたちで蔵書評価が実施されることがある。この場合には、複数の図書館で重複して所蔵されている図書および一館のみで所蔵される「ユニークな」図書の分布、重複の程度などが調査され、分担収集などを通じた資源共有のための基礎資料となる。
(4) 蔵書評価に関するパフォーマンス指標
図1-1の中にISO11620という国際標準が記載されている。これは図書館パフォーマンス指標の定義・計算方法を規定した規格であり、1998年に制定された。日本では、これに対する日本工業規格(JIS)が2002年に出されている(JIS X 0812)。
図書館パフォーマンス指標は、図書館の業務・サービスの効果や効率を測定するための数値的指標であり、これらの指標を活用して、その業務・サービスの改善を図ることが近年の図書館には求められている。かつては全国的で画一的な基準類を定め、それをひとつの目標として図書館業務・サービスを向上させる方策がとられていた。しかし、現在では、各図書館の独自性や固有の環境が重視され、自らの計画策定(planning)に基づく「plan-do-see」のサイクルによる経営改善に重点が置かれるようになってきた。図書館パフォーマンス指標は、この「see(評価)」の部分において重要な役割を果たすことになる。
図書館パフォーマンス指標は大きく、効果(目標達成の程度)を測定するものと効率(達成に必要な資源の量)を測定するものとに分けることが可能である(7)。さらに、それらはその測定対象から、入力・出力・アウトカム(成果)に区分できる。蔵書に関する一例を挙げれば、
- 入力:蔵書冊数
- 出力:貸出延べ冊数
- アウトカム:利用者満足度
ということになる。
ISO11620(JIS X 0812)における蔵書評価に関連した指標としては以下のものがある(効率に関するものを除く)。すなわち、
- タイトル利用可能性
- 要求タイトル利用可能性
- 要求タイトル所蔵率
- 資料利用率
- 蔵書回転率
- 人口当たり貸出数
- 人口当たり貸出中資料数
である。また、相互貸借をも含めた評価に関しては、
- 要求タイトル一定期間内利用可能性
- 図書館間貸出の迅速性
などがある。なお、ISO11620は2003年に改訂され、その際、いくつかの指標が追加されているが、そのうち、(広い意味での)蔵書評価に関するものとして、
- 利用されない資料の所蔵率
- 配架の正確性
- 所蔵資料の貸出率
が新たに加わっている。
(5) 蔵書評価サービス
すでに述べたようにOCLCが蔵書評価サービスを提供している(OCLC ACASソフトウエアについてはLyons(8)が詳しい)。そのほか、Portland大学では、蔵書評価ツールLibStatCATが開発されている(9)。
2. 国内外の研究動向・主な事例
ここでは、蔵書評価に関する国内外の動向を把握するために、比較的最近の主な研究事例を概観する。ただし、これは十分に網羅的ではない。なお、海外のものに関しては、T. E. Nisongerによる蔵書評価に関する文献案内(10)が2003年に出版されており、これを参照すれば、さらに幅広く研究事例を知ることができる。
(1) 書誌類を利用したチェックリスト法
1) 日 本
- 柴田(2001)(11)は、国立国会図書館の『雑誌記事索引』を使って、特定領域に関する独自の基準リストを作成し、京都府立総合資料館の所蔵雑誌の評価を試みている。
- 川村(2000)(12)は、東京都立中央図書館における地方史誌の所蔵に関して、関係文献やデータベースを利用してチェックリストを作成し、評価を行った。
- 後藤(1999)(13)は、東京都立大学附属図書館の蔵書を評価するために、AERA MOOKで刊行されているいくつかのブックガイドから基準リストを作成し、所蔵率を調べている。
- 大塚(1995)(14)は、国立国会図書館における雑誌の所蔵を評価するために、「国立大学外国雑誌センター」「学術情報センター」「日本科学技術情報センター」の所蔵との比較を試みた。
- 石井ら(1995)(15)は、大学図書館や国会図書館の収集状況について評価するために、会議録や学術書からの標本抽出によってチェックリストを作成し、所蔵データとの照合を行った。
- 二階(1982)(16)は、都立中央図書館の医学関係の蔵書を評価するために、専門家に対するヒアリングの結果等を参考に、書誌から文献を抽出し、その所蔵を調査した。
- 河井(1971)(17)は、チェックリスト法について、その歴史・成り立ちから問題点まで幅広く論じている。
2) 海 外
- Grover(1999)(18)は、Brigham Young大学の蔵書を評価するために、National Shelflist Count(米国の60の大学・研究図書館に関する、LC分類に基づく624区分の蔵書データ)を使用した。特に5つの大学図書館の平均値との比較を試みている。
- 1980年代から90年代にかけて、オーストラリアのQueensland州立図書館はいくつかの主題分野に関して、書誌類をチェックリストとして、蔵書評価を試みている(19)。同様に、Melbourne大学においても、1990年代後半に、チェックリスト等による蔵書評価がなされている(19)。
- Lotlikar(1997)(20)は、Millersville大学における政治科学に関する蔵書の評価を目的として、ALAのBooks for College Libraries(BCL)などのいくつかの権威あるリストによるチェックリスト法を用いている(その他、貸出統計も活用して分析している)。
- PettingillとMorgan(1996)(21)はOld Dominion大学図書館の多文化的な蔵書を評価するために、いくつかの書誌をチェックリストとして用いた。
(2) 引用文献リストを利用したチェックリスト法
1) 日 本
- 気谷(2002)(22)は、筑波大学に提出された博士論文の参考文献を分析することによって、その執筆にあたって筑波大学附属図書館が資料をどの程度供給できているかどうかを分析している。
- 気谷・歳森(2002)(23)は、1999年度に出版された197件の雑誌論文が引用している文献4,390件をSCI(Science Citation Index、ISI社)により明らかにし、筑波大学附属図書館におけるそれらの供給率を調査した。
- 粕谷(1999)(24)は、日本体育大学図書館における雑誌の評価を行うために、紀要に掲載された論文の引用文献をリストとして、所蔵率を評価した。
2) 海 外
- Leiding(2005)(25)は、学部学生の10年間の論文における引用文献をチェックリストとして、James Madison University (JMU) 図書館の蔵書を評価した試みを報告している。
- Beileら(2004)(26)は、博士論文での約1800件の引用を調べ、その蔵書評価への活用について議論している。
- Watson(2003)(27)は、ある専門書の参考文献リストをチェックリストとして用いた、AVSL(The Association of Vision Science Librarians)加盟図書館の所蔵状況についての比較評価について報告している。
- Tanら(2002)(28)は、引用分析方法によってシンガポール教育省図書館の蔵書を評価し、その結果をILLデータの分析結果と比較検討した。
- Sylvia(1998)(29) は、St. Mary’s大学図書館の心理学科で購入された雑誌の講読/購読中止を検討するために、この学科の学生・院生の論文に引用された雑誌との比較評価を行った。
(3) コンスペクタス
- チェコ国立図書館はコンスペクタスによる蔵書評価を試み、その報告書を2003年に出している(30)。
- 中島(1995)(31)は、RLGコンスペクタス、WLNコンスペクタス、その他のコンスペクタス、クルーガー法、米国以外の国々での活動について紹介している。
- オーストラリア国立図書館のDistributed National Collection(DNC)Officeは、1990年代に、オーストラリアにおけるいくつかの図書館を対象としたコンスペクタスによる大規模な蔵書評価について報告している(19)。
- 中野(1989)(4)は、RLGコンスペクタスについて紹介し、その有効性と問題点について論じている。
(4) 利用者中心評価法
1) 日 本
- 山田(2003)(32)は、愛媛大学付属図書館における開架図書の館外貸出データを用いて、出版年別蔵書回転率の分析を行い、その特徴等を報告している。
- 前野(1999)(33)は、行橋市立図書館における各分野の蔵書回転率を算出し、回転率の特に高い分野・低い分野を分析した。
- 岸田(1994)(34)は、大学や企業における図書館が、利用統計を用いて蔵書を評価するための方法について概観した。
- 岸田ら(1994)(35)は、実際の大学図書館の貸出データを用いて、オブソレッセンスと貸出頻度分布を分析した結果を報告し、貸出データ分析の有用性を議論している。
- 加藤(1982)(36)は、1975年のAllen KentらによるPittsburgh大学蔵書利用調査を紹介し、その問題点について論じている。
2) 海 外
- Enssle & Wilde (2002)(37)は、Colorado State University図書館の購入雑誌のいくつかの購読を中止するために、それらの学内での利用状況を統計的に集計している。
(5) 全国的・地域的なレベルでの蔵書評価および複数の図書館での比較
1) 日 本
- 神奈川県図書館協会蔵書評価特別委員会(2005)(38)は、神奈川県下の4館(県立図書館、横浜市立図書館、藤沢市総合市民図書館、海老名市立中央図書館)の所蔵状況を、TRC MARCを利用し、NDC類目9門に関して調査している。
2) 海 外
- Auchterlonie(2005)(39)は、英国の学術図書館におけるアラビア語書籍の所蔵状況を調べ、その多くが4つの図書館に集中していることを見出した。
- McGuiganら(2004)(40)は、Harvard Business School Core Collectionをチェックリストとして、Pennsylvania州の図書館における経営管理学修士号(MBA)に関する蔵書の評価を試みている。また、OCLCのデータベースも使用している。
- Southern Ontario Library Serviceによって作成された図書館資料のリストをチェックリストとして、Ontario州の20の公立図書館の蔵書が評価された(2004年にその報告書が出されている(41))。
- 英国におけるCURL(Consortium of Research Libraries)は、英国におけるいくつかの大学図書館の蔵書を、OCLC/LACEY iCASソフトウエアを利用して分析・評価しており、その最終報告書が2002年に出版されている(42)。
- Perraultら(2002)(43)は、現在ではFlorida Community College Statewide Assessmentプロジェクトと呼ばれる複数図書館での蔵書評価の実際の効果を、蔵書構築担当者へのアンケート調査を使って調べている。
- Perrault(1999)(44)は、米国の研究図書館における全国的な所蔵状況を把握するために、OCLC/AMIGOS Collection Analysis CDを利用して統計的な分析を試みた。
- すでに挙げたように、オーストラリア国立図書館のDistributed National Collection(DNC)Officeは、1990年代に、オーストラリアにおけるいくつかの図書館を対象としたコンスペクタスによる大規模な蔵書評価について報告している(19)。
(6) その他:評価指標など
- 蒲生(2004)(45)は、国立大学の付属図書館における中期目標・中期計画の戦略的な策定や、達成度の評価を支援し、図書館の有用性を評価できるような図書館評価指標の原案の作成を試みた、国立大学図書館協議会に設置されたワーキンググループの結果について報告している。
- 永田(2004)(46)は、電子図書館に対する顧客による評価に関して、顧客満足度やサービス品質の調査の点から問題を整理している。
引用文献
(1) 倉橋英逸. 図書館の経営評価に関する日本国内の研究動向. カレントアウェアネス. (286), 2005, 26-29. http://www.ndl.go.jp/jp/library/current/no286/CA1581.html
(2) 岸田和明. 電子的な図書館サービスの評価への取組みとその課題. 情報の科学と技術. 54(4), 2004, 162-167.
(3) http:/www.oclc.org/collectionanalysis/
(4) 中野捷三.RLGコンスペクタス:共同蔵書構築の思想と表現.現代の図書館.27(4),1989,235-239.
(5) Kantor, P. B. “Availability analysis”. Journal of the American Society for Information Science, 27, 1976, 311-319.
(6) Orr, R. et al. “Development of methodologic tools for planning and managing library services: II. Measuring a library’s capability for providing documents”. Bulletin of the Medical Library Association, 56, 1968, 241-267.
(7) 岸田和明.図書館経営の評価法−図書館パフォーマンス指標の利用について. 現代の図書館. 41(1), 2003, 34-39.
(8) Lyons, Lucy E. A critical examination of the assessment analysis capabilities of OCLC ACAS. Journal of Academic Librarianship 31(6), 2005, 506-516.
(9) Oberlander, C. and Streeter, D. LibStatCAT: A library statistical collection assessment tool for individual libraries & cooperative collection development. Library Collections, Acquisitions, and Technical Services. 27(4), 2003, 493-506.
(10) Nisonger, Thomas E. Evaluation of library collections, access and electronic resources: a literature guide and annotated bibliography. Libraries Unlimited. 2003, 316p.
(11) 柴田容子.『雑誌記事索引』を用いた雑誌評価の試み:チェックリスト法及び引用調査法を用いて.資料館紀要.(29),2001,1-24.
(12) 川村由紀子.地方史誌刊行状況と所蔵状況:蔵書評価を目的とした東京都立中央図書館における蔵書調査.東京都立中央図書館研究紀要.(30),2000,77-98.
(13) 後藤久夫.チェックリスト法による大学図書館における蔵書評価の一例――東京都立大学付属図書館における初学者向け図書の収集状況.大学図書館研究.(57),1999,39-42.
(14) 大塚 奈奈絵.図書館ネットワーク時代の蔵書構成と蔵書評価.現代の図書館.33(2),1995,97-101.
(15) 石井 啓豊;川村 幸;村田 邦恵.共同蔵書構築を目的とした蔵書評価の構成方法.図書館学会年報.41(1),1995,31-41.
(16) 二階 健次.都立中央図書館における医学書の蔵書構成について:チェックリスト法による所蔵調査を中心にして.医学図書館.29(1),1982,36-45.
(17) 河井 弘志.チェックリストによる公共図書館蔵書分析評価法Library and Information Science. (9),1971,179-207.
(18) Grover, Mark L. Large scale collection assessment. Collection Building. 18, 1999, 58-66.
(19) http://www.nla.gov.au/libraries/resource/car.html
(20) Lotlikar, Sarojini D. Collection assessment at the Ganser Library: a case study. Collection Building. 16, 1997, 24-29.
(21) Pettingill, Ann; Morgan, Pamela. Building a retrospective multicultural collection: a practical approach. Collection Building. 15, 1996, 10-16.
(22) 気谷 陽子.博士論文の引用分析を用いた博士課程大学院生の文献利用についての研究:筑波大学の事例.大学図書館研究. (66),2002,33-41.
(23) 気谷 陽子;歳森 敦.学術図書館における学術文献の供給可能率に関する研究.情報の科学と技術.52(9),2002,477-483.
(24) 粕谷 素子.引用参考文献による雑誌の利用と蔵書構成の評価.逐次刊行物研究分科会報告. (55・56),1999,213-217.
(25) Leiding, Reba. Using Citation Checking of Undergraduate Honors Thesis Bibliographies to Evaluate Library Collections. College & Research Libraries. Vol. 66, No. 5, 2005, 417-429.
(26) Beile, Penny M.; Boote, David N.; Killingsworth, Elizabeth K. A microscope or a mirror?: A question of study validity regarding the use of dissertation citation analysis for evaluating research collections. Journal of Academic Librarianship 30(5), 2004, 347-353.
(27) Watson, Maureen Martin. The Association of Vision Science Librarians’ citation analysis of Duane’s Clinical Ophthalmology. Journal of the Medical Library Association. 91(1), 2003, 83-85.
(28) Tan, Joanna; Ching, Yeok; Chennupati, K. R. Collection evaluation through citation analysis techniques: A case study of the ministry of education, Singapore. Library Review. 51(8), 2002, 398-405.
(29) Sylvia, Margaret J. Citation analysis as an unobtrusive method for journal collection evaluation using psychology student research bibliographies. Collection Building. 17(1), 1998, 20-28.
(30) http://jib-info.cuni.cz/konspekt/dokumenty/final_report_november1.pdf
(31) 中島 薫.「共同蔵書構築」のための蔵書評価――コンスペクタスを中心に.国立国会図書館月報.(409),1995,29-31.
(32) 山田 周二.館外貸出データに見る利用傾向:蔵書回転率の分析.大学図書館研究.(69), 2003,27-33.
(33) 前野 幸治.行橋図書館の現在:蔵書と利用の評価.図書館学.(74),1999,6-13.
(34) 岸田 和明.利用統計を用いた蔵書評価の手法.情報の科学と技術.44(6),1994,300-305.
(35) 岸田 和明;逸村 裕;高山 正也.大学図書館における館外貸出データの分析手法:オブソレッセンスと貸出頻度分布の分析を中心として.図書館研究シリーズ.(31),1994,79-127.
(36) 加藤 孝明.選書業務の評価:Pittsburgh大学図書館の蔵書利用調査をめぐって.私立大学図書館協会会報.(78),1982,31-35.
(37) Enssle, Halcyon R; Wilde, Michell L. So you have to cancel journals? Statistics that help. Library Collections Acquisitions & Technical Services. 26(3), 2003, 259-281.
(38) 神奈川県図書館協会蔵書評価特別委員会.公共図書館とコンスペクタスの可能性.神奈川県図書館協会,2005.
(39) Auchterlonie, P. The acquisition of Arabic books by British libraries 20 years on: progress or decline? Library Collections, Acquisitions & Technical Services. 29(2), 2005, 140-148.
(40) McGuigan, G. S.; Crawford, G. A.; Kubiske, J. L. Accreditation and library collections: the monographic holdings of academic libraries that support AACSB accredited and non-accredited MBA programs in the state of Pennsylvania, USA. Collection Building. 23(2), 2004, 78-86.
(41) http://www.sols.org/links/clearinghouse/collectiondev/resources/Collectionstudystandardlists2004.doc
(42) http://curl.bham.ac.uk/projects/iCAS%20final%20report.pdf
(43) Perrault, Anna H.; Adams, Tina M.; Smith, Rhonda; Dixon, Jeannie. The Florida Community College statewide collection assessment project: outcomes and impact. College and Research Libraries. 63(3), 2002, 240-250.
(44) Perrault, Anna H. National collecting trends: collection analysis methods and findings.” Library & Information Science Research. 21(1), 1999, 47-67.
(45) 蒲生 英博.「大学図書館における評価指標報告書(Version 0)」の作成とその後の動向:特に電子図書館サービス関係評価指標について.情報の科学と技術.54(4),2004,183-189.