Negli ultimi anni i ricercatori hanno utilizzato vari titoli videoludici per valutare le capacità delle intelligenze artificiali. A questo proposito, di recente un team dell’Hao AI Lab dell’Università della California ha proposto l’uso di “Super Mario Bros” come nuovo benchmark per testare le prestazioni delle AI. Quest’ultimo viene ritenuto infatti più impegnativo rispetto ai giochi utilizzati in precedenza per i test. Come per esempio Pokémon.
Super Mario Bros per i benchmark della AI
L’esperimento ha riguardato l’integrazione del videogioco di Nintendo con GamingAgent. Un framework che consente alle AI di controllare Mario e completare compiti come evitare ostacoli e nemici. Utilizzando un emulatore modificato, l’intelligenza artificiale ha ricevuto istruzioni di base e screenshot del gioco, generando input in codice Python. L’ambiente di gioco unico ha costretto ogni modello ad elaborare manovre complesse e strategie, mettendo alla prova la loro adattabilità e capacità nella risoluzione dei problemi.
È interessante notare che i “modelli di ragionamento”, come GPT-4o di OpenAI, avrebbero mostrato prestazioni scarse in uno scenario di gioco in tempo reale nonostante le migliori performance in altri benchmark. Ciò sarebbe dovuto ad un processo decisionale più lento che spesso richiede alcuni secondi per determinare le azioni.
Al contrario, i modelli non basati sul ragionamento avrebbero primeggiato in un contesto dove il tempismo è fondamentale e può fare la differenza tra successo e fallimento.
Le valutazioni basate sui videogame sono attendibili?
L’uso di giochi come “Super Mario Bros” per valutare le AI non è una novità. Alcuni esperti hanno però messo in dubbio la rilevanza di tali benchmark nel determinarne i progressi data la natura astratta dei giochi e le loro sfide relativamente semplici rispetto al mondo reale. Tale dibattito ha portato a quella che Andrej Karpathy, ricercatore di OpenAI, ha definito una vera e propria “crisi di valutazione“.
Nel 2015 venne sviluppato MarI/O, un programma di intelligenza artificiale in grado di giocare a “Super Mario World“. MarI/O riceveva la disposizione del livello e le posizioni degli ostacoli, cercando di avanzare il più possibile verso destra nel minor tempo possibile. Dopo 34 generazioni, pari a 24 ore di allenamento, MarI/O riuscì a completare un livello evitando tutti i potenziamenti e i nemici.
Per restare sempre aggiornato seguici su Google News!
