Lo scraping dei siti Web non è necessariamente un’attività illegale, rappresenta però un danno quando i dati raccolti dai bot vengono utilizzati senza alcun vantaggio per gli autori. Questa pratica viene utilizzata frequentemente anche per addestrare i modelli generativi con informazioni disponibili pubblicamente e senza alcun compenso per chi gestisce le pagine coinvolte.
Si tratta sostanzialmente di un’attività di parsing. I bot scansionano automaticamente la rete alla ricerca di informazioni, quando analizzano un sito Web ne identificano i contenuti principali e li raccolgono. Questi ultimi vengono poi elaborati e archiviati all’interno di dataset spesso molto voluminosi che possono essere impiegati, ad esempio, in progetti di AI e Machine Learning.
Una novità a questo proposito arriva da Cloudflare, tra i maggiori provider mondiali di Cloud Services, che ha sviluppato una funzionalità gratuita con la quale sarà possibile bloccare lo scraping da parte dei bot sul proprio sito Web. Una volta abilitata questa feature il riconoscimento dei bot avviene automaticamente sulla base di un modello predefinito.
To help preserve a safe Internet for content creators, we’ve just launched a brand new “easy button” to block all AI bots. It’s available for all customers, including those on our free tier. Read our blog post for more details: https://t.co/csWFFgqbKM
— Cloudflare (@Cloudflare) July 3, 2024
Il training di quest’ultimo è stato effettuato tenendo conto di alcuni comportamenti tipici dei bot che tentano di effettuare procedure di scraping. Essi infatti tentano di imitare il comportamento degli esseri umani per non essere rilevati, ad esempio simulando la navigazione da un comune browser Internet o randomizzando il numero di accessi.
Tale strumento è stato concepito per bloccare tutti quei bot che ignorano le direttive indicate nei file robots.txt e quindi non rispettano la volontà di chi gestisce un sito Web. L’azienda fornisce inoltre un tool appositamente dedicato alle segnalazioni di bot e crawler basati sulle AI che permetteranno di migliorare ulteriormente il modello anti-scraping.
Aggiungi MRW alle tue fonti preferite su Google!
