LiveLeak.com è un sito molto noto che sullo stile di YouTube deve il suo successo ai filmati uploddati dagli utenti. Il portale gode di circa mezzo milione, dicasi mezzo milione, di viste al giorno ma… non è indicizzato da Google.
Oltre a far crollare tutte le convinzioni riguardo alla supposta necessità di stare nelle prime pagine del motore di ricerca più grande del Mondo per avere successo, la mancata indicizzazione del sito ha fatto gridare al complotto sia i proprietari del servizio di video-sharing che i suoi estimatori. Google non indicizzava LiveLeak.com per levarsi di torno un possibile concorrente?
La situazione stava diventando grave, tanto che gli stessi gestori del sito avevano distribuito una video-intervista/denuncia contro il collosso di Mountain View. I ragazzi di LiveLeak avevano però preso una gigantesca cantonata…
Nessun complotto, nessuna concorrenza sleale. Alla base della mancata indicizzazione vi era semplicemente un comune file robot.txt utilizzato per evitare l’azione dei crawler dei motori di ricerca che di fatto impetiva allo spider di Google di trovare LiveLeak.