Nothing2Hide

Robots.txt datoteku na Wordpress

Kao što sam napomenuo u statistike pristupa blogova, koji često spiders (Google u vodstvu) tražiti korijen site robots.txt datoteci i ne smatrate ga, odlučio sam da se "zadovoljio" kreiranje sa sljedećim sadržajima:

  User-agent: * 
  Onemogući: / wp -- 
  Onemogući: / feed / 
  Onemogući: / kugla / 

To bi trebalo poslužiti kako bi se osiguralo da svi spiders nisu nepotrebno pokušaja indeks datoteka izravno na Wordpress. Zatim tu su oni koji kažu da je ova slika je dobra ideja da stvori ga, čak i ako se nalaze na područjima biti isključene, a time i sa sadržajem kao što je ovaj:

  User-agent: * 
   Onemogući: 

Pisao na Veljača 28, 2007 at 20:01 u web | Komentari [0]
Dionički | Tags: Google, robots_txt, statistiche_di_accesso, user_agent, Web