Il file robots.txt su Wordpress

Poichè ho notato dalle statistiche di accesso al blog, che spesso gli spider (Google in testa) cercano nella root del sito il file “robots.txt” e non lo trovano, ho deciso di “accontentarli” creandone uno con il seguente contenuto:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

Questo dovrebbe servire a far si che tutti gli spider non tentino inutilmente di indicizzare direttamente i files di Wordpress. C’è poi chi dice che questo file è buona norma crearlo anche se non ci sono aree da escludere, e quindi con un contenuto di questo tipo: