米国議会図書館(LC)の全米デジタル情報基盤整備・保存プログラム(NDIIPP)の助成のもと、ノースカロライナ大学チャペルヒル校が、ウェブ上のブログ・動画のメタデータのみを収集するクローラー“ContextMiner”を開発・公開しました。
ContextMiner
http://www.contextminer.org/
ContextMiner: A Metadata Collection Tool
http://www.digitalpreservation.gov/news/2008/20081106news_article_contextminer.html
ちなみに同校は、NDIIPPの助成によるプロジェクト“VidArch”のもと、YouTubeの動画をクロールする“TubeKit”など、他のツールも開発しています。
VidArch at SILS
http://www.ils.unc.edu/vidarch/