「深い」サイトと「広い」サイトとで、検索エンジンへのクロールされやすさはどのくらい違うのか?

サイト内のコンテンツを、順を追って階層的にたどっていく様にする「深い」ウェブサイトと、1つのページに数多くのコンテンツへのリンクを表示する「広い」ウェブサイトとでは、検索エンジンへのクロールされやすさがどのくらい違うのか、について、2つの種類のウェブサイト(前者を「パンくずリスト(Bread Crumb)型」、後者を「ビュッフェ(Buffet)型」と呼んでいます)を構築し、365日間の検索エンジン(Google、MSN、Yahoo!)のロボットの訪問ログを分析したレポートが、D-Lib Magazine誌に掲載されています。広いウェブサイトの方が、漏れなく、早くクロールされることがわかったとのことで、各々のクロールのされ方を示したアニメーション図も掲載されています。なお、この調査では、.comサイトと.eduサイトの両方で同じ実験を行っていますが、.eduサイトの方が漏れが多く、時間もかかったという結果が出ています。

Site Design Impact on Robots: An Examination of Search Engine Crawler Behavior at Deep and Wide Websites / Joan A. Smith, Michael L. Nelson. D-Lib Magazine, March/April 2008, Volume 14 Number 3/4.
http://www.dlib.org/dlib/march08/smith/03smith.html