אופטימיזציה של הקובץ robots.txt

ביצעתי יותר עד כדי שינוי הקובץ robots.txt, המפרט מדיניות שונה עבור גישה למשאבים של האתר בהתאם לסוג של מנוע החיפוש עם גישה. בפרט, כדי להימנע באינדקס כפולים עם תוכן עוקב השפעה שלילית על הדירוג, יש לי גישה חסומה על ידי מנוע החיפוש במיוחד עבור הבאים:

בארכיון במשך חודשים;
תגי;
המשאבים אינם מובהקים טקסטואלי כמו קבצי CSS, מיקוד, JS, וכו ';
עדכוני RSS;
trackback url;

אז כמו שאתה עכשיו את הקובץ robots.txt:

 User-agent: * Disallow: /blog/wp- Disallow: /blog/contatti Disallow: /blog/tag/ Disallow: /blog/wp-admin/ Disallow: /blog/wp-includes/ Disallow: /blog/2006/0 Disallow: /blog/2006/1 Disallow: /blog/2007/0 Disallow: /blog/2007/1 Disallow: /extras/stats/download.php Disallow: /old User-agent: Googlebot Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.tar$ Disallow: /*.tgz$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /extras/stats/download.php Disallow: /blog/*/feed/ Disallow: /blog/*/trackback/ Disallow: /feed Disallow: /*?* Disallow: /*? Disallow: /blog/*/http: Disallow: /blog/2006/0* Disallow: /blog/2007/0* Disallow: /blog/2006/1* Disallow: /blog/2007/1* Disallow: /blog/2007/2* Disallow: /old User-agent: Googlebot-Image Disallow: User-agent: Mediapartners-Google* Disallow:

לאחר מכן תוכל ציין כי ביחס Googlebot-Image כי עסקאות אינדקס תמונות ו-Google Mediapartners אני לא רוצה להטיל מגבלות כלשהן.

האם מאמר כזה? הירשם עכשיו או כדי לקבל עדכוני חדשות מאמרים: