サイト内のコンテンツを、順を追って階層的にたどっていく様にする「深い」ウェブサイトと、1つのページに数多くのコンテンツへのリンクを表示する「広い」ウェブサイトとでは、検索エンジンへのクロールされやすさがどのくらい違うのか、について、2つの種類のウェブサイト（前者を「パンくずリスト（Bread Crumb）型」、後者を「ビュッフェ（Buffet）型」と呼んでいます）を構築し、365日間の検索エンジン（Google、MSN、Yahoo!）のロボットの訪問ログを分析したレポートが、D-Lib Magazine誌に掲載されています。広いウェブサイトの方が、漏れなく、早くクロールされることがわかったとのことで、各々のクロールのされ方を示したアニメーション図も掲載されています。なお、この調査では、.comサイトと.eduサイトの両方で同じ実験を行っていますが、.eduサイトの方が漏れが多く、時間もかかったという結果が出ています。
Site Design Impact on Robots: An Examination of Search Engine Crawler Behavior at Deep and Wide Websites / Joan A. Smith, Michael L. Nelson. D-Lib Magazine, March/April 2008, Volume 14 Number 3/4.
http://www.dlib.org/dlib/march08/smith/03smith.html
