Nevím, já robots.txt nepoužívám (i přesto mi při testu sitemap chybu "nedostupný soubor robots.txt" nevyhazuje).