Το αρχείο robots.txt για Wordpress

Όπως είχα αναφερθεί στις στατιστικές των πρόσβαση σε blogs, τα οποία συχνά αράχνες (Google κεφάλι) να επιδιώξει τη ρίζα του site αρχείο robots.txt και δεν βρίσκω, λοιπόν αποφάσισα να "accontentarli" δημιουργώντας ένα με το ακόλουθο περιεχόμενο:

  User-agent: * Απαγόρευση: / WP-Απαγόρευση: / ζωοτροφών / Απόρριψης: / trackback /

Αυτό θα πρέπει να χρησιμεύσει για να διασφαλίσουν ότι όλες οι αράχνες δεν άσκοπα προσπαθώντας να το ευρετήριο αρχείων απευθείας Wordpress. Έπειτα, υπάρχει εκείνους που λένε ότι το αρχείο αυτό είναι μια καλή ιδέα να δημιουργηθεί ακόμη και αν υπάρχουν τομείς οι οποίοι πρέπει να αποκλειστούν, και ως εκ τούτου με το περιεχόμενο αυτού του τύπου: