生成AI時代の攻撃的なクローラートラフィックの緩和:米・ノースカロライナ大学チャペルヒル校図書館の経験(文献紹介)

オープンアクセス誌Code4Lib Journal誌のIssue 61(2025年10月21日掲載)に、“Mitigating Aggressive Crawler Traffic in the Age of Generative AI: A Collaborative Approach from the University of North Carolina at Chapel Hill Libraries”と題する記事が掲載されています。著者は米・ノースカロライナ大学チャペルヒル校図書館のソフトウェア開発責任者(Head of Software Development)であるJason Casden氏等です。

この記事は、2024年春以降、同館が、クローラー(ボット)による攻撃的なトラフィックにどのように対処したかを紹介しています。悪意のあるリクエストの進化と、それらに対して同館が講じた対処を具体的に示した上で、教訓、今後の方向性、結論をまとめています。

図書館は、商用生成AIモデルのリリースと同時期に急増した攻撃的なクローラートラフィックへの対策を急速に進化させる必要に迫られたとしています。AIの学習と攻撃的なトラフィックとの関係性を断定することはできないが、図書館サービスへの影響は甚大であり、安定したアクセス提供を維持するためには、多大な資金と人材が必要となるとあります。

Mitigating Aggressive Crawler Traffic in the Age of Generative AI: A Collaborative Approach from the University of North Carolina at Chapel Hill Libraries(Code4Lib Journal)
https://journal.code4lib.org/articles/18489

Code4Lib Journal Issue 61, 2025-10-21
https://journal.code4lib.org/issues/issues/issue61

参考:
オープンアクセスリポジトリ連合(COAR)、AIボットとリポジトリに関するタスクフォースを立ち上げ [2025年07月17日]
https://current.ndl.go.jp/car/255601

GLAM-E Lab、AI学習のためのボットがGLAM機関のオンラインコレクションに及ぼす影響をまとめたレポートを公開 [2025年06月19日]
https://current.ndl.go.jp/car/254270