Chi ha sentito parlare di Elon Musk sa quanto sia propenso a formulare delle previsioni ambiziose. Che si tratti di collegare gli esseri umani ai computer, di portare gli esseri umani nello spazio o di lanciare un’automobile Tesla nello spazio, la sua capacità di attrarre l’attenzione del pubblico, e soprattutto degli investitori, è ormai molto nota.
Le sue ultime affermazioni in questo senso riguardano il futuro della xAI, compagnia da lui creata per lo sviluppo di progetti basati sull’Intelligenza Artificiale Generativa, come per esempio la famiglia di LLM (Large Language Model) Grok. Entro la fine del 2024 quest’ultima creerà il cluster più grande del mondo per il training delle AI.
Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.
With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!
— Elon Musk (@elonmusk) July 22, 2024
Stando a quanto dichiarato dal miliardario sudafricano questo progetto verrà realizzato grazie ad una collaborazione tra la stessa xAI, il social network X (che Musk ha acquistato per 44 miliardi dollari quanto ancora si chiamava "Twitter") e Nvidia. La partecipazione di quest’ultima appare necessaria perché si tratta dell’unica azienda in grado di offrire le GPU necessarie.
L’iniziativa prende il nome di Memphis Supercluster in quanto lo stabilimento verrà edificato proprio nella città americana del Tennessee, molto probabilmente nello stesso luogo in cui prima era presente un impianto della Electrolux. L’intenzione dovrebbe essere quella di ospitare non meno di 100 mila GPU H100 di Nvidia che sono lo stato dell’arte nel settore di riferimento.
Sempre per quanto riguarda la configurazione hardware, l’architettura (o per meglio dire microarchitettura) impiegata sarà Hopper con 80 miliardi di transistor e un processo a 4 nanometri. Le H100 sono tra l’altro le prime GPU in assoluto ad offrire il supporto a PCI Express 5.0 nonché ad abbinare memoria HBM3 con una larghezza di banda da 3 TB/s.
