La Banca d’Italia ha condotto un esperimento finalizzato a capire se ChatGPT può essere utilizzato per la stesura di un documento di policy destinato al direttorio dell’istituto. Con quest’ultimo si intende l’insieme di norme che vengono adottate da un’organizzazione per disciplinare la condotta dei propri componenti durante l’uso di determinati strumenti.
Le conclusioni dello studio sono contenute nel report intitolato "Loquacity and visible emotion: ChatGPT as a policy advisor". In esso di legge chiaramente che il chatbot basato sul modello generativo di OpenAI puà essere molto utile per velocizzare il workflow e fornire suggerimenti utili ma non potrebbe essere considerato un assistente affidabile.
Nelo specifico il documento di policy creato da ChatGPT si sarebbe dimostrato superficiale, errato in molte delle sue parti e irrilevante. Ciò non significa che non possa essere utilizzato per la creazione di testi anche molto articolati ma è sempre necessaria la supervisione di un esperto che sappia individuare eventuali criticità nei contenuti generati.
I problemi rilevati sarebbero anche di carattere economico, perché un chatbot la cui attività deve essere sorvegliata e analizzata nel dettaglio presenta delle limitazioni anche rilevanti in termini di produttività. Almeno per il momento non sarebbe quindi possibile delegare questo particolare tipo di compito ad un’Intelligenza Generativa.
L’esperimento è stato condotto utilizzando GPT-4 che è l’ultima versione del modello generativo alla base di ChatGPT. Nel report viene evidenziato come la piattaforma abbia prodotto delle policy errate anche nei casi in cui i prompt proposti siano stati particolarmente dettagliati, specificando ad esempio il contesto e il pubblico di riferimento.
