Nascondere le pagine web

Questo è un “giochetto” che fanno parecchi siti web (controllate di persona).
Quando un Webmaster non vuole che alcune pagine siano indicizzate dai vari motori di ricerca, utilizza un file di testo chiamato robots.txt che, con una sintassi particolare, informa i motori di ricerca che alcune pagine non vanno “classificate”.

Prendiamo, per esempio il sito di Repubblica.

Subito dopo l’indirizzo mettiamo /robots.txt e premiamo invio.

Avremo quello che è raffigurato nell’immagine seguente.

Le linee precedute da “Disallow” sono i nomi e i percorsi delle pagine “nascoste” ai motori di ricerca.

Se vogliamo vedere il contenuto di una di queste pagine basta copiare l’indirizzo (1) al posto di quanto indicato nel punto 2 (vedi immagine sotto) 

Ed ecco la pagina desiderata:



Hits: 63