Optimalisering robots.txt

Jeg har gjort flere endringer i robots.txt-filen, som angir ulike retningslinjer for tilgang til ressurser i området i henhold til type søkemotor som har tilgang. I særdeleshet, for å unngå å duplisere innholdet indeksert med påfølgende negativ effekt på rangeringen, jeg har blokkert tilgangen til søkemotoren spesielt for følgende ressurser:

arkiver for månedene;
koder;
Ressursene er ikke rent tekstlig som css filer, zip, js, etc.;
RSS-feeder;
Styrekule URL;

Her da som nå min robots.txt-filen:

  User-agent: * Disallow: / Blog/wp- Disallow: / blog / kontakter Disallow: / blog / tag / Disallow: / blog / wp-admin / Disallow: / blog / wp-inkluderer / Disallow: / blog/2006 / 0 Disallow: / blog/2006/1 Disallow: / blog/2007/0 Disallow: / blog/2007/1 Disallow: / extras / statistikk / download.php Disallow: / gamle User-agent: Googlebot Disallow: / php *. $ Disallow: / *. js $ Disallow: / *. inc $ Disallow: / *. css $ Disallow: / *. gz $ Disallow: / *. wmv $ Disallow: / *. tar $ Disallow: / *. tgz $ Disallow: / cgi *. $ Disallow: / *. xhtml $ Disallow: / extras / statistikk / download.php Disallow: / blog / * / feed / Disallow: / blog / * / styrekule / Disallow: / feed Disallow: / * ? * Disallow: / *?  Disallow: / blog / * / http:Disallow: / blog/2006/0 * Disallow: / blog/2007/0 * Disallow: / blog/2006/1 * Disallow: / blog/2007/1 * Disallow: / blog / 2007 / 2 * Disallow: / gamle User-agent: Googlebot-Image Disallow: User-agent: Mediapartners-Google * Disallow:

Du kan deretter registrert at med hensyn Googlebot-Image involvert indeksering av bilder og Mediapartners-Google jeg ikke ønsker å innføre noen restriksjoner.