Optimaliseren van robots.txt

Ik heb nog wijzigingen in het bestand robots.txt, met vermelding van de verschillende beleidsterreinen voor de toegang tot de hulpbronnen van de site naar gelang van het soort zoekmachine die toegangen. In het bijzonder, om te voorkomen dat dubbele inhoud indexeren met alle negatieve gevolgen voor de ranking, ik blokkeren van de toegang van de zoekmachine in het bijzonder voor de volgende middelen:

Archief voor de maanden;
tags;
middelen zijn niet puur tekstueel als css-bestanden, zip, js, enzovoort;
RSS-feeds;
trackback URL;

Hier dan zoals nu mijn robots.txt-bestand:

  User-agent: * Disallow: / blog/wp- Disallow: / blog / contacten Disallow: / blog / tag / Disallow: / blog / wp-admin / Disallow: / blog / wp-includes / Disallow: / blog/2006 / 0 Disallow: / blog/2006/1 Disallow: / blog/2007/0 Disallow: / blog/2007/1 Disallow: / extras / stats / download.php Disallow: / oud User-agent: Googlebot Disallow: / php *. $ Disallow: / *. js $ Disallow: / *. inc $ Disallow: / *. css $ Disallow: / *. gz $ Disallow: / *. wmv $ Disallow: / *. tar $ Disallow: / *. tgz $ Disallow: / *. cgi $ Disallow: / *. xhtml $ Disallow: / extras / stats / download.php Disallow: / blog / * / feed / Disallow: / blog / * / trackback / Disallow: / feed Disallow: / * ? * Disallow: / *?  Disallow: / blog / * / http:Disallow: / blog/2006/0 * Disallow: / blog/2007/0 * Disallow: / blog/2006/1 * Disallow: / blog/2007/1 * Disallow: / blog / 2007 / 2 * Disallow: / oud User-agent: Googlebot-Image Disallow: User-agent: Mediapartners-Google * Disallow:

U kunt vervolgens op gewezen dat met betrekking Googlebot-Image bij het indexeren van afbeeldingen en Mediapartners-Google Ik wilde niet tot het opleggen van eventuele beperkingen.