Elon Musk è solo l’ultimo grande nome nel campo dell’intelligenza artificiale ad aver espresso delle preoccupazioni riguardo all’ormai scarsa disponibilità di dati reali per l’addestramento dei modelli di AI. Durante una conversazione in livestream con il presidente di Stagwell, Mark Penn, il miliardario sudafricano ha affermato infatti che la somma cumulativa della conoscenza umana utile per il training dell’AI sarebbe andata esaurita già lo scorso anno.
La soluzione è nei dati sintetici per addestrare l’AI
Dello stesso parere è per esempio Ilya Sutskever, co-fondatore di OpenAI, il quale sostiene che l’industria dell’AI abbia raggiunto il cosiddetto “picco dei dati“.
La scarsità di dati reali sta spingendo verso un cambiamento nel modo in cui vengono sviluppati i modelli di intelligenza artificiale. I dati sintetici, generati artificialmente dagli stessi sistemi di AI, stanno quindi emergendo come una possibile soluzione. A parere di Musk l’unico modo per integrare i dati reali, cioè i dataset basati sulla conoscenza umana, è quello di creare artificialmente delle informazioni con cui favorire l’autoapprendimento.
Aziende come Microsoft, Meta, OpenAI e Anthropic hanno già adottato i dati sintetici nei loro processi di training. I modelli Phi-4 di Microsoft e Gemma di Google sono stati addestrati ad esempio utilizzando una combinazione di dati reali e sintetici. Nello stesso modo, le serie Llama di Meta e Claude 3.5 Sonnet di Anthropic hanno incorporato input sintetici per migliorare le prestazioni.
Vantaggi e svantaggi dei dati sintetici
L’uso dei dati sintetici offre vantaggi come un risparmio in termini economici. Writer, startup nel campo dell’intelligenza artificiale, ha sviluppato il suo modello AI Palmyra X 004 quasi esclusivamente con dati sintetici, spendendo solo 700 mila dollari contro i 4.6 milioni stimati per modelli simili di OpenAI.
Il rischio è però quello di un “collasso del modello“, con output meno creativi e più soggetti a bias nel tempo. Se i infatti dati sintetici ereditano dei difetti dai modelli di origine tali limitazioni possono propagarsi compromettendo l’affidabilità dei sistemi.
