Alcuni giorni fa gli sviluppatori di OpenAI hanno lanciato due nuovi modelli di intelligenza artificiale, o3 e o4-mini, entrambi progettati per eccellere nei compiti che richiedono un ragionamento approfondito. Secondo alcuni test questi modelli mostrerebbero però un tasso di “allucinazioni” superiore rispetto ai modelli precedenti. Un dato sorprendente, considerando che le versioni più recenti dovrebbero essere in teoria anche le più affidabili.
Cosa sono le allucinazioni delle AI
Le allucinazioni delle intelligenza artificiali sono errori in cui un modello genera delle informazioni false o inventate. Possono riguardare dati inesistenti, citazioni sbagliate o azioni impossibili. Si tratta di un problema abbastanza comune nei modelli linguistici. Essi infatti “non sanno realmente di cosa parlano”, si limitano invece a prevedere dei termini su base probabilistica e a concatenarli senza “distinguere il vero dal falso”.
Ciò non riguarda solo gli LLM di OpenAI. Famoso è per esempio il caso delle AI Overviews di Google che alcuni mesi fa consigliavano di utilizzare la colla per fare in modo che il formaggio aderisce più facilmente alla base della pizza.
Gli errori dei nuovi modelli di OpenAI
Durante i test il modello o3 di OpenAI avrebbe prodotto allucinazioni nel 33% dei casi su PersonQA, un benchmark interno per le conoscenze sulle persone, mentre o4-mini avrebbe raggiunto un preoccupante 48%. Al confronto, i modelli precedenti o1 e o3-mini si sarebbero fermati al 16% e 14,8%. Un passo indietro non trascurabile in termini di accuratezza.
Una delle ipotesi formulate dai ricercatori è che i metodi di reinforcement learning utilizzati per addestrare questi modelli potrebbero amplificare i comportamenti indesiderati, come per esempio l’invenzione di dati o eventi mai accaduti. In un caso o3 avrebbe sostenuto di aver eseguito del codice su un MacBook del 2021 al di fuori di ChatGPT, cosa tecnicamente impossibile.
Aggiungi MRW alle tue fonti preferite su Google!
