Optimiranje robots.txt datoteku

Sam napravio više promjena na "robots.txt" datoteku, možete odrediti različite politike za pristup do resursa na stranici prema vrsti tražilice koja pristupa. Konkretno, kako bi izbjegli duple indeksiraju sadržaj u svezi s negativnih utjecaja na rangiranje, ja sam blokiran pristup tražilice posebno za sljedeće izvore:

Arhive mjeseci;
oznake;
resursa, ne samo kao tekst datoteke CSS, poštanski broj, js, itd;
RSS izvori;
Trackback URL;

Pa kao što si sada moj robots.txt datoteke:

 User-agent: * Disallow: /blog/wp- Disallow: /blog/contatti Disallow: /blog/tag/ Disallow: /blog/wp-admin/ Disallow: /blog/wp-includes/ Disallow: /blog/2006/0 Disallow: /blog/2006/1 Disallow: /blog/2007/0 Disallow: /blog/2007/1 Disallow: /extras/stats/download.php Disallow: /old User-agent: Googlebot Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.tar$ Disallow: /*.tgz$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /extras/stats/download.php Disallow: /blog/*/feed/ Disallow: /blog/*/trackback/ Disallow: /feed Disallow: /*?* Disallow: /*? Disallow: /blog/*/http: Disallow: /blog/2006/0* Disallow: /blog/2007/0* Disallow: /blog/2006/1* Disallow: /blog/2007/1* Disallow: /blog/2007/2* Disallow: /old User-agent: Googlebot-Image Disallow: User-agent: Mediapartners-Google* Disallow:

Možete zatim napomenuo da s obzirom Googlebot-slike koja se bavi indeksiranjem slike i Mediapartners-Google Nisam žele nametnuti se svih ograničenja.

Jeste li kao što je ovaj članak? Prijavite se za primanje ažuriranja ili newsa: