米・ボストン公共図書館とハーバード大学ロースクール図書館のプログラム(IDI)、135年分の歴史的新聞から作成したオープンデータセットを公開

2026年9月2日、米・ボストン公共図書館(BPL)が、同館とハーバード大学ロースクール図書館のプログラム(Institutional Data Initiative: IDI)が、135年分の歴史的新聞から作成したオープンデータセットを公開したことを発表しました。

1795年から1930年までの新聞147万ページ以上のスキャニング画像を基に新たに作成したデータセットです。テキスト化に当たっては、機械学習を用いて抽出した8300万件以上の個々の記事やセグメントに対して、個別にテキスト抽出を行うことにより、ページ単位で処理する従来の方法よりも精度の高いテキストデータや情報を得ることができたとされています。

同プロジェクトのために構築されたオープンソースの処理パイプラインは、どの図書館やアーカイブズ機関でも各館が所蔵する新聞コレクションに合わせて利用可能とあります。

Boston Public Library and Harvard IDI Release Open Dataset from 135 Years of Historic Newspapers(BPL, 2026/9/2)
https://www.bpl.org/news/boston-public-library-and-harvard-idi-release-open-dataset-from-135-years-of-historic-newspapers/

参考:
米・ハーバード大学ロースクール図書館で“Institutional Data Initiative”が立ち上げ [2024年12月17日]
https://current.ndl.go.jp/car/235935