Benvenuto! Se sei un nuovo visitatore ti consiglio di iscriverti al mio Feed RSS in modo da essere sempre aggiornato riguardo l'uscita di nuovi articoli oppure sbirciare tra i tutorials ed i progetti.
Per avere un'idea del best-content presente in questo blog puoi leggere il post intitolato "Ed ora è il momento di rilanciare alcune iniziative! (1a parte e 2a parte)".
Buona navigazione e grazie per la visita!

Era da molto tempo che nelle statistiche notavo che il numero degli errori 404 aumentavano a dismisura: soddisfando la mia curiosità ho notato che tutto ciò era causato dal file robots.txt che risultava non esserci.
Allora cosa ho fatto? Facile, ho creato il file robots.txt (di contenuto ‘nullo’) con all’interno questo:

User-agent: *
Disallow:

In questo modo, come prima, dico ai motori di ricerca di scandagliare tutto il dominio senza quindi incorrere in errori di vario tipo.
C’è da notare che l’errore 404 in questo caso era l’artefice anche di un piccolo spreco di banda (soprattutto nel mio blog dove l’errore è stato personalizzato).

Se volete maggiori informazioni riguardo l’utilizzo del Robots Exclusion Standard non vi resta che andare su robotstxt.org.