カレントアウェアネス-E

No.101 2007.02.28

 E610

ウェブ上に公開される政府刊行物のハーベスティング（米国）

　米国政府印刷局（GPO）が，政府刊行物の網羅的収集の自動化を進めている。

　GPOは，連邦政府刊行物寄託図書館制度（FDLP）により政府刊行物の電子コレクション（EC; Electronic Collection）の構築を進めている。このFDLP ECの構築にあたっては，非デジタルの有形出版物をデジタル化して蓄積するアーカイブと，ウェブ上にデジタル形態で公開されている“ボーン・デジタル資料”を収集して蓄積するアーカイブとの両面から網羅性を追求している。（CA1548，CA1569参照）

　このうちボーン・デジタル資料の収集については，これまで人手による収集を行っていたが，作業の効率化を図るため自動的なハーベスティングも模索し，パイロットプロジェクトを行っていた。GPOは2007年2月，『ウェブ・ハーベスティング白書』と題する報告書を公開し，プロジェクトの成果を明らかにした。

　プロジェクトでは，環境保護局（EPA）（E609参照）の膨大なウェブサイト及びデータベースを対象に，刊行物を機械的に収集する実験が行われた。ベンダー2社の協力を得て，6か月間に3度のクローリング（収集ロボットによる探査）を行い，各クローリングごとに，発見・収集されたものがGPOの配布プログラムに合致する刊行物であるか評価し，クローリング方法の修正を重ねた。

　その結果，最終的に2社の収集の精度について，ロボットが刊行物とした資料のうち約85％が実際に刊行物であり，またロボットが刊行物としなかった資料のうち約70％が実際刊行物ではないという結果であった。2社はハーベスティングにあたり技術・方法論とも異なるアプローチを採用しており，GPOはそれを比較することで次に解決すべき課題を分析している。具体的には，今後はこの調査結果の分析をさらに進めより精度の高いルール・指示を考案するととしている。さらにそれを踏まえて最適な業務フローや収集された刊行物の目録作成を行っていくとしている。

　現状の精度では，機械的にハーベスティングされた資料を完全な刊行物となるようにグルーピングする作業や，人手による点検と目録・分類作業のボリュームが大きくなってしまうため，更なる自動化が求められよう。新システムのリリース予定を2008年と定め，GPOは次の一歩を踏み出している。

Ref:
http://www.access.gpo.gov/su_docs/fdlp/harvesting/index.html
E609
CA1548
CA1569