robots? Tam nic zajímavého nenajde.Většinou tam je, to co je pro vyhledávače nedostupné a nebo pak hvězdičky, pro indexaci všeho. Jedinej zajimavej robots.txt je na http://www.whitehouse.gov/robots.txt - co všechno WH blokuje 
.
Když už tak spíš www.abc.cz/sitemap.xml - tedy seznam stránek pro google v XML, ale málokdo to používá.
poradna.net
Neregistrovaný Přihlásit Registrovat