Nothing2Hide

 Hai perso la password ? Fingiti Google!

In moltissimi siti, si può ottenere l’accesso totale a tutte le aree solo registrandosi e/o pagando, ma la cosa strana che magari si può notare è che Google (o qualunque altro motore di ricerca) ha comunque potuto indicizzare completamente anche le pagine protette di tali siti.
Il motivo è semplice: ogni sito vuole avere la possibilità di sfruttare appieno ed in tutte le sue aree (protette e non) i servizi offerti da Google, come ad esempio ADSense. In questo articolo vedremo come “ingannare” tale tipologia di siti facendoci scambiare proprio per GoogleBot.

User Agent
Quando si visita un sito web, generalmente il proprio browser invia un header http chiamato “User-Agent” che fornisce al server alcune informazioni relative al client come ad esempio il nome e la versione del browser, il sistema operativo, la lingua. La stessa cosa vale per i bot e per gli spider: normalmente anch’essi inviano lo user agent contenente delle informazioni che includono il nome del bot e la mail e/o sito web di contatto, nel caso in cui in gestore del sito voglia contattare per qualsiasi motivo l’amministratore del bot.
Lo user agent è quindi un criterio di discriminazione usato spesso per bloccare o consentire l’accesso a determinare aree di un sito web.

Modificare lo User Agent
Esistono alcune utilities che consentono di modificare facilmente il proprio user agent: per Internet Explorer si può utilizzare WinGuides Tweak Manager e per Firefox/Mozilla User Agent Switcher. Con questi tools è possibile provare a modificare il proprio user agent utilizzando le stringhe di esempio del paragrafo successivo, trovando la “giusta identità” che consenta di ottenere il libero accesso dato ad esempio ai soli crawlers.

Ad esempio con questo sistema è possibile accedere alle aree protette di Windows & .Net Magazine, Nature e Photosig. Ricordate che nonostante tutto non tutti i siti sono vulnerabili e che comunque è facilissimo per essi bloccare un eventuale tipo di accesso che sfrutta questa semplice tecnica.

User-Agent strings

Browsers

Internet Explorer 5.5 on Windows 2000: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)
Internet Explorer 6.0 in MSN on Windows 98: Mozilla/4.0 (compatible; MSIE 6.0; MSN 2.5; Windows 98)
Internet Explorer 6.0 on Windows XP: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
Internet Explorer 7.0 beta running on Windows Longhorn: Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)
Internet Explorer 5.2 on Mac OS X: Mozilla/4.0 (compatible; MSIE 5.23; Mac_PowerPC)
Konqueror 3.1 (French): Mozilla/5.0 (compatible; Konqueror/3.1; Linux 2.4.22-10mdk; X11; i686; fr, fr_FR)
Mozilla 1.7.8 on Linux: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.8) Gecko/20050511
Mozilla Firefox 1.0.4 on Windows XP: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.8) Gecko/20050511 Firefox/1.0.4
Mozilla Firefox 1.0.4 on Ubuntu Linux, on AMD64: Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.7.6) Gecko/20050512 Firefox
Mozilla Firefox 1.0.4 on FreeBSD 5.4 on i386: Mozilla/5.0 (X11; U; FreeBSD i386; en-US; rv:1.7.8) Gecko/20050609 Firefox/1.0.4
Netscape 4.8 on Windows 2000: Mozilla/4.8 [en] (Windows NT 5.0; U)
Netscape 7 on Sun Solaris 8: Mozilla/5.0 (X11; U; SunOS sun4u; en-US; rv:1.0.1) Gecko/20020920 Netscape/7.0
Netscape 8.0.1 on Windows XP using Gecko: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.5) Gecko/20050519
Netscape 8.0.1 on Windows XP using MSHTML (with .NET installed) : Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1
Opera 6.03 on Windows 2000, cloaked as MSIE: Mozilla/4.0 (compatible; MSIE 5.0; Windows 2000) Opera 6.03 [en]
Opera 7.23 on Windows 98: Opera/7.23 (Windows 98; U) [en]
Opera 8.00 on Windows XP: Opera/8.00 (Windows NT 5.1; U; en)
Opera 8.00 on Gentoo Linux: Opera/8.0 (X11; Linux i686; U; cs)
Safari v125 on Mac OS X: Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en) AppleWebKit/124 (KHTML, like Gecko) Safari/125
Safari v125 on Mac OS X, cloaked as MSIE: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2)
ELinks 0.4pre5 on Linux: ELinks (0.4pre5; Linux 2.4.27 i686; 80×25)
Links 0.99pre14 under Cygwin on Windows 2000: Links (0.99pre14; CYGWIN_NT-5.0 1.5.16(0.128/4/2) i686; 80×25)
Links 2.1pre17 under Gentoo Linux: Links (2.1pre17; Linux 2.6.11-gentoo-r8 i686; 80×24)
Lynx 2.8.4rel.1 on Linux: Lynx/2.8.4rel.1 libwww-FM/2.14
Off By One 3.5a on Windows XP: Mozilla/4.7 (compatible; OffByOne; Windows 2000)
w3m on FreeBSD: w3m/0.5.1

Bots

Crawler for Ask Jeeves/Teoma: Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
cURL: curl/7.13.1 (powerpc-apple-darwin8.0) libcurl/7.13.1 OpenSSL/0.9.7b zlib/1.2.2
Googlebot: Googlebot/2.1 (+http://www.google.com/bot.html)

Ti è piaciuto l'articolo? Iscriviti ora per ricevere aggiornamenti o articoli simili: