Robots.txt-filen på Wordpress

Som jeg noterte i statistikken av tilgang til blogger, som ofte spiders (Google i bly) søker roten av webområdet robots.txt-filen, og ikke finner ham, bestemte jeg meg for å "tilfredsstille" skape en med følgende innhold:

  User-agent: * 
  Disallow: / wp -- 
  Disallow: / feed / 
  Disallow: / styrekule /

Dette bør tjene til å sikre at alle edderkoppene er ikke unødvendig forsøk på å indeksere filene direkte til Wordpress. Deretter er det de som sier at denne filen er en god idé å lage den selv om det er områder som skal utestenges, og derfor med et innhold som dette: