Quanto costa integrare un modello generativo in una piattaforma o in una applicazione utilizzata da milioni di persone in tutto il mondo? Non poco, soprattutto considerando il fatto che mantenere un LLM (Large Language Model) determina spese ingenti sia per il suo addestramento che per la produzione degli output a seguito dei prompt formulati dagli utenti.
Volendo proporre un esempio è possibile fare riferimento a GitHub Copilot, un servizio dedicato agli sviluppatori che utilizzano GitHub. Esso sfrutta l’Intelligenza Artificiale per fornire suggerimenti sul completamento e la correzione del codice in vari linguaggi di programmazione. Il suo costo è attualmente pari a 10 dollari al mese per utente o 100 dollari all’anno.
Stando a quanto riportato nelle scorse ore dal Wall Street Journal, GitHub Copilot finirebbe però per costare molto di più a Microsoft che ne detiene la proprietà, tanto da determinare delle perdite di esercizio molto ingenti. Parliamo di una media di 20 dollari al mese per utente e, in alcuni casi, si arriverebbe ad una spesa pari ad 80 dollari.
The cost of running AI is becoming an issue, even in domains where people are prepared to pay for it:
"Report: GitHub Copilot Loses an Average of $20 Per User Per Month"https://t.co/bmkn6Tba7R
— AI_Skeptic (@The_AI_Skeptic) October 10, 2023
La Casa di Redmond gestisce anche altri serivizi basati sulle AI, alcuni di essi possono essere utilizzati gratuitamente, come per esempio Bing Chat e Bing Image Creator, altri sono inclusi nelle sue piattaforme, come Windows Copilot, altri ancora sono delle soluzioni a pagamento, come Microsoft 365 Copilot che dal mese prossimo costerà 30 dollari al mese.
Un fattore importante per i costi degli LLM risiede nell’infrastruttura hardware necessaria al loro funzionamento, un settore dove dominano le componenti GPU di Nvidia dedicate alle AI che sono molto costose. Non a caso sia il gruppo capitanato da Satya Nadella che OpenAI starebbero pensando di produrre internamente i chip da destinare ai propri datacenter.
Per restare sempre aggiornato seguici su Google News!
