
Zakázání indexování webu
Chci aby vyhledávače neindexovaly jaké mám na webu texty a obrázky. Jde o soukromej web pár lidiček. Když ale napíšu do .htacces toto:
User-agent: *
Disallow: /
Tak se nemůžu na web dostat ani já. Chci aby se na web každý dostal, ale aby ho neindexoval žádný vyhledávač. Ani texty ani obrázky.
Tohle by mělo fungovat proti všem robotům. Nevím, proč si tě server s nějakým plete.
Nepíše se to ovšem do .htaccess, ale do robots.txt
A nemůže to být tím že to mám na subdoméně?
Dal jsem to do robots.txt a maká to díky
Tohle bych řešil ideálně jednoduchým mechanismem captcha.
Roboti přes to neprolezou, lidi ano.
Tedy pokud to má být skutečně spolehlivé.
Jednoduchý captcha roboti rozlousknou, ale ten soubor ne.
Navíc proč otravovat návštěvníky vypisováním blbinek, když to jde řešit takhle elegantně.
Ach jo.
Ten soubor je DOPORUČENÍ pro vyhledávače, neindexovat obsah.
Jakým způsobem se, ale vyhledávače nakonec rozhodnou, a jak se "hlásí"
neovlivníš.
Když už něco vystavuješ na internet, vždycky je nějaká nenulová pravděpodobnost,
že se ti z něho tam někdo dostane.
Dále nevím nic o tom, že by vyhledávače při indexaci stránek cíleně ztrácely čas
s prolamováním nalezeného Captcha.