Llama 3.1 è l’ultima versione dell’LLM (Large Language Model) creato da Meta. Stando a quanto affermato dai portavoce della compagnia si tratterebbe di un’evoluzione senza precedenti nello sviluppo di modelli generativi, una notizia particolarmente interessante se si considera che in questo caso parliamo di una soluzione Open Source.
Tra le caratteristiche di Lama 3.1 troviamo l’impiego di ben 405 miliardi di parametri per il suo addestramento, siamo quindi di fronte all’LLM libero e aperto più grande mai realizzato fino ad ora. Ciò dovrebbe riflettersi positivamente sull’accuratezza degli output, in particolare nelle traduzioni tra lingue differenti e nella risoluzione di task complessi.
Starting today, open source is leading the way. Introducing Llama 3.1: Our most capable models yet.
Today we’re releasing a collection of new Llama 3.1 models including our long awaited 405B. These models deliver improved reasoning capabilities, a larger 128K token context… pic.twitter.com/1iKpBJuReD
— AI at Meta (@AIatMeta) July 23, 2024
La finestra di contesto, cioè la capacità di eleborare simultaneamente informazioni contenute in una singola interazione, è pari a 128 mila token, mentre per quanto riguarda il supporto linguistico è stata migliorata la capacità di gestire input e output in Inglese, Spagnolo, Portoghese, Francese, Tedesco, Hindi e per nostra fortuna anche in Italiano.
Tra i vantaggi del progetto Llama vi è anche il fatto che quest’ultimo può essere utilizzato anche per il training di modelli di terze parti. Ciò è possibile grazie alla possibilità di estrapolare dati sintetici riutilizzabili, le conoscenze dell’LLM possono essere inoltre "distillate" in modo che operi come "insegnate" per un modello più piccolo e compresso.
Secondo Meta, Llama 3.1 è competitivo rispetto a soluzioni come GPT-4 e Claude 3.5 Sonnet. A proposito del modello di Anthropic è utile ricordare che nei giorni scorsi è stata rilasciata un’applicazione per Android che ha come modello di riferimento proprio "Sonnet", un LLM multimodale con il supporto degli Artifacts appositamente pensati per la programmazione.
