Já myslím, že normální web nemá 32 mil. statických stránek, dále předpokládám, že když není autor normální, tak google bot normální bude. Řekl bych, že Google má nějaké omezení na počet stránek, ale podrobnosti nevím. Taky je možné, že má bot časový limit na doménu. Svoje bude hrát i obolus pro Gouglího.

http://www.google.com/insidesearch/howsearchworks/ thestory/
http://infolab.stanford.edu/~backrub/google.html