• DOMINIOWEB.ORG

FILE robots.txt
bandiera

-------------------------------------------------------------------------------------------------------

Non sei contento
del tuo Hosting Provider?
Paghi un servizio troppo caro?
Non sei soddisfatto?
Trasferire un Dominio
e' facile come bere
un bicchier d'acqua!

Vedi Info a questo link

-------------------------------------------------------------------------------------------------------

File robots.txt - a cosa serve?

Un file robots.txt è un file di testo inseribile nella directory principale del sito e indica quali parti del sito non sono accessibili ai crawler dei motori di ricerca. Importante per l'indicizzazione di un sito, perche' i Motori la prima cosa che controllano e la presenza di questo file. E' anche particolarmente importante per limitare il consumo di Banda in un sito web, quando alcuni crawler scandagliandolo quotidianamente, ne provocano un consumo elevatissimo; altra utilita' consiste nel non fare indicizzare le immagini del sito, mentre e' da ritenersi totalmente inefficace per chi usa questo file per "nascondere" pagine web.


COME CREARE UN FILE robots.txt.

Un file robots.txt si crea con un semplice blocco note, inserendo all'interno una serie di comandi in base a cosa si richiede. Il file robots.txt contiene dei record, ognuno dei quali comprende due campi: il campo "User-agent" ed uno o più campi "Disallow".
Esempi di configurazione:

In questo esempio, tutti i Motori sono autorizzati a prelevare tutto dal sito web

User-agent: *
Disallow
:

-----------------------------------------------------------------------

In questo esempio, si proibisce l'accesso a "mercator" che e' uno spider di Altavista e, a Google si proibisce l'accesso, ma solo di una cartella e due file, mentre tutti gli altri Motori possono prelevare a piacimento.

User-agent: mercator
Disallow: /

User-agent: googlebot
Disallow: /chisiamo.html
Disallow: /top.html
Disallow: /fatture/

User-agent: *
Disallow:

Molte ancora le possibilita' di configurazione esistenti per il file robots.txt che, in questo spazio non possiamo trattare, ma che rimandiamo alla numerosa bibliografia presente sul web, digitando semplicemente su Google "file robots.txt".