カレントアウェアネス-E
No.372 2019.07.11
E2153
大学図書館の成果を測る：Project Outcome大学図書館版
2019年4月，米国の大学・研究図書館協会（ACRL）が，大学図書館向けの利用者調査のためのオンラインツール“Project Outcome for Academic Libraries”を正式公開した。同ツールはACRLのウェブサイト上で公開されており，大学図書館員や図書館情報学を学ぶ学生であれば，登録後，無料で利用することができる。
“Project Outcome”は，米国図書館協会（ALA）の1部門である公共図書館協会（PLA）が2015年に開始した，公共図書館のサービスやプログラムの効果を測る利用者調査のためのオンラインツールを無料で提供するプロジェクトである（E1911参照）。ACRLは大学図書館向けに同様のツールを提供するため，PLAと連携し，2018年6月から10月にかけて実証実験を行った後，正式公開に至った。実証実験までの成果は2018年12月に開催された図書館評価に関する会議“Library Assessment Conference”で発表されている。
Project Outcomeはオンラインでの質問紙調査（いわゆるアンケート調査）を簡単に作成することができ，さらに結果の集計やレポートの作成も自動で行うことができる，というツールである。それだけならばGoogleフォームをはじめ，既存の有料・無料のオンライン調査ツールと大差ないが，Project Outcomeの特徴は，各図書館で必要になるであろう，共通の質問項目・選択肢がすでに設定されており，調査自体の名称や，利用者に提示する説明文等さえ設定すれば，すぐにでも調査が実施できる点にある。
例えば新たに図書館で実施したイベントについての調査を企画したとする。まず「新たに調査を作成する（Create New Survey）」ボタンを押した後，調査トピックの中から“Events/Program”を選択し，さらに企画実施後すぐに行う調査（Immediate）か，しばらく間をあけて効果を問う調査（Follow-up）かを選択する。次に実施した企画名，企画の日付，実施場所を入力する。さらに，調査の冒頭に表示する説明文や末尾に表示する文を作成する（書かなくてもよい）。その後，追加で独自の設問を設けるかを尋ねられるが，Project Outcomeとしては設問の追加は勧めない旨も表示される。設問を追加しない場合，これで調査作成は完了で，ものの5分もかからない。ちなみに，特に設問を追加しない場合，質問紙は7段階評価の選択式設問4問（「この企画から何か新たなことを学んだ」（知識），「学んだことについて活用していく自信を得た」（自信），「学んだことについて他者と議論したり共有したい」（活用），「図書館のプログラム・サービスへの理解が深まった」（理解））と，企画の中で最も好きだった点，そのほかに興味のあるトピックに関する自由回答設問2問から成っている。作成した質問紙はダウンロード・印刷して配布・実施できるのみならず，回答用ページも作成されるので，そのままオンラインでも実施できる。オンラインで回収した結果は自動で集計され，データダッシュボードのページから閲覧できる。ダッシュボードでは項目ごとの概要に加え，複数の調査結果を比較したり，図書館ごとの結果を地図上にマッピングすることもできる。さらに，結果をまとめた報告書を自動で生成することまで可能である。
上記ではイベント・企画の場合の詳細を説明したが，大学図書館版ではそのほかにデジタル・特別コレクション（デジタルも含む展示やアーカイブ等について），利用者インストラクション（学生の課題・学習支援に関する企画やサービス），図書館テクノロジー（メイカースペースや情報機器の貸出など，図書館が提供する情報技術支援），研究支援，空間，教育支援（教員等のカリキュラム・教材開発の支援サービス）の，合計7トピックについて調査可能である。公共図書館版もトピック数は同じく7つであったが，内容は全面的に見直されている。これらの項目の設計についてはLibrary Assessment Conference向けに作成されたプレプリントで詳述されている。そもそも公共図書館版は，図書館のサービス・プログラムの成果を，利用者が何を得たかから評価する，そして利用者が得たものは自身の内的な「変化」として表出する，という考えに基づいて構築されている。さらにその利用者の変化を，Schrader氏とLawless氏による，教育・学習のパフォーマンス評価に関する理論に基づき，前出の「知識」，「自信」，「活用」，「理解」という4種類に分けて，利用者自身に7段階で評価させる。これらが成果の量的な測定となる。それに加えて，質的な測定として，「回答者が最も気に入ったもの（こと）」と「図書館が改善できること」について自由回答形式で尋ねる。この6問構成が公共図書館版の基本で，原則すべてのトピックの設問がこの形となっている。この基本方針は，大学図書館版でも堅持されている。また，公共図書館版として開発したツールをできるだけそのまま使えるようにという観点もあり，全トピック数を公共図書館版とそろえて7つとすることも検討の早期に決定されたという。そのうえで，トピック自体の中身については大学図書館版の検討タスクフォースにおいて決定された。トピックの決定や具体的な設問の設計は2018年4月から6月にかけてと，ごく短期間で行われているが，これは公共図書館版の堅固な基本方針があったからこそ可能であったと考えられる。
この2018年6月までに作成された設問について，同月から2018年10月まで，実証実験が行われた。実験期間中には54機関が実際に調査を実施し，のべ1万1,449件の回答が得られたという。実施機関・回答数とも最も多かったのは利用者インストラクションのトピックであったという（実施機関40，回答数9,148）。そのほかのトピックについても概ね一定数の利用があった一方で，教育支援（実施機関7，回答数52）やデジタルコレクション（実施機関1，回答数5）の調査はあまり利用がなかった。前者はサービス提供機関自体が少ないこと，後者はトピックの範囲が狭すぎたことが理由と考えられ，特にデジタルコレクションについてはこの結果を受け，最終版では「デジタル・特別コレクション」としてトピックの見直しが図られている。なお，この実証実験の結果はインタラクティブな視覚化データとしても公開されている。
その後，項目や文言の一部見直しを経て，前述の通り正式版ツールは2019年4月より公開中である。ACRLのProject Outcomeウェブサイトでは利用状況がリアルタイムで更新されており，本稿を執筆している2019年6月時点で，すでに正式版を利用している大学図書館は160以上に及んでいるという。残念ながら設問等は英語・スペイン語・フランス語にしか対応していないものの，英語等で調査ができる環境であれば，日本の大学であっても十分に利用可能なものと考えられる（ただし，大学としての利用には，初回登録時にACRL担当者への連絡が必要である）。あるいは，本ツールを日本語に翻訳したり，基本方針はそのままに設問を見直した日本ローカライズ版を作成することも有用かもしれない。公共図書館版も含め，国内の関係者間でProject Outcomeへの関心が高まれば幸いである。
同志社大学免許資格課程センター・佐藤翔
Ref:
https://acrl.projectoutcome.org/
https://www.acrl.ala.org/acrlinsider/archives/16865
https://acrl.ala.org/acrlinsider/wp-content/uploads/LAC-paper-preprint-DRAFT.pdf
https://acrl.ala.org/acrlinsider/wp-content/uploads/LAC-slides-PDF.pdf
https://doi.org/10.1002/pfi.4140430905
https://public.tableau.com/profile/sara.goek#!/vizhome/Field-TestingBenchmarks/Benchmarks
E1911
※本著作（E2153）はクリエイティブ・コモンズ 表示 4.0 国際 パブリック・ライセンスの下に提供されています。ライセンスの内容を知りたい方はhttps://creativecommons.org/licenses/by/4.0/legalcode.jaでご確認ください。
