Googleが検索エンジンのクロールや検索結果のアルゴリズム、スパム対策などに関する解説ページを開設してたみたいです。
(ダジャレじゃないよ！)
以下引用。
この度 Google では、検索の仕組みに関する新しいウェブサイト を公開しました。
このサイトにアクセスすると、ウェブから始まって、クロール、インデックス、アルゴリズムに基づいたランキングと検索結果の配信、ウェブ スパム対策まで、1 つの検索キーワードがたどるサイクルを知ることができます。
ということで、当該ページへのリンクは以下。
検索の仕組み – 検索サービス – Google
http://www.google.com/intl/ja/insidesearch/howsearchworks/index.html
結構内容はスッキリしていて読みやすいですね。