Sviluppatori e SEO conoscono perfettamente l’importanza del robots.txt, si tratta infatti di un semplice file di testo in cui l’utilizzatore elenca i file e le cartelle che devono essere ignorati dai motori di ricerca. Il suo funzionamento è possibile grazie all’azione di un particolare protocollo per Internet che prende il nome di REP (Robot Exclusion Protocol).
Universalmente utilizzato e concepito circa un quarto di seconolo fa, REP è stato sempre considerato uno standard di fatto ma senza una vera e propria ufficialità. Ora Google vorrebbe rimediare a questo stato di cose facendo in modo che ai robots.txt siano associate delle specifiche riconosciute a cui i professionisti della Rete si debbano attenere.
Per passare immediatamente alla fase pratica di definizione dello standard Mountain View ha già pubblicato sul code hosting di GitHub il codice sorgente del parser a cui fa riferimento il crawler di Google per interpretare le regole inserite all’interno del documento. Ora la palla passa nelle mani della IETF (Internet Engineering Task Force) che si occupa appunto di promuovere gli standard per il Web.
La storia del robots.txt inizia nel 1994 grazie al lavoro dell’informatico olandese Martijn Koster, il suo obbiettivo era quello di creare un sistema semplice grazie al quale indicare le risorse che, non partecipando al processo di indicizzazione, non sarebbero potute essere raggiungibile dagli utenti attraverso i risultati della SERP (Search Engine Results Page).
Il sistema concepito da Koster, rimasto sostanzialmente immutato nel corso degli ultimi 25 anni, prevede che tale file debba essere uploadato nella root del Web server per essere immediatamente raggiungibile dal parser tramite l’URL (d’esempio) "nomeadominio.com/robots.txt". Nonostante la grande diffusione nessuno fino ad ora si era reso protagonista di iniziative per la sua standardizzazione.
Per restare sempre aggiornato seguici su Google News!
