Plik robots.txt na Wordpress

Jak zauważono w statystykach dostępu do blogów, które często pająki (Google w czołówce) poszukuje do głównego witryny w pliku robots.txt i nie znajdzie go, zdecydowałem się "rozliczyć" tworzenie treści z następujących czynności:

  User-agent: * 
  Disallow: / wp -- 
  Disallow: / / paszowych 
  Disallow: / trackback /

Powinno to służyć zapewnieniu, że wszystkie pająki nie są na próżno próbuje indeksowanie plików bezpośrednio do Wordpress. Następnie są ci, którzy twierdzą, że ten plik jest dobry pomysł, aby go utworzyć, nawet jeśli istnieją obszary, które mają być wyłączone, a następnie z tego typu treści: