L’uso di ChatGPT per scrivere lettere di accompagnamento, generare piani di lezione e rifare il tuo profilo di appuntamenti potrebbe costare a OpenAI fino a $ 700.000 al giorno a causa della costosa infrastruttura tecnologica su cui funziona l’IA, Dylan Patel, capo analista presso la società di ricerca sui semiconduttori SemiAnalysis, ha detto a The Information.
Questo perché ChatGPT richiede enormi quantità di potenza di calcolo per calcolare le risposte in base alle richieste dell’utente.
“La maggior parte di questo costo si basa sui costosi server di cui hanno bisogno”, ha detto Patel alla pubblicazione tecnologica.
In una telefonata con Insider, Patel ha affermato che probabilmente è ancora più costoso operare ora, poiché la sua stima iniziale si basa sul modello GPT-3 di OpenAI. GPT-4 – l’ultimo modello dell’azienda – sarebbe ancora più costoso da gestire, ha detto a Insider.
Mentre la formazione dei grandi modelli linguistici di ChatGPT probabilmente costa decine di milioni di dollari, le spese operative o i costi di inferenza “superano di gran lunga i costi di formazione quando si implementa un modello su qualsiasi scala ragionevole”, Patel e Afzal Ahmad, un altro analista di SemiAnalysis, ha detto a Forbes. “In effetti, i costi per l’inferenza di ChatGPT superano i costi di formazione su base settimanale”, hanno affermato.
Le aziende che utilizzano i modelli linguistici di OpenAI hanno pagato prezzi salati per anni. Nick Walton, CEO di Latitude, una startup dietro un gioco di sotterranei AI che utilizza prompt per generare trame, ha affermato che l’esecuzione del modello, insieme ai pagamenti ai server Amazon Web Services, costa all’azienda $ 200.000 al mese affinché l’IA risponda a milioni di query degli utenti nel 2021, Lo ha riferito la CNBC.
Il costo elevato è il motivo per cui Walton ha affermato di aver deciso di passare a un fornitore di software linguistico supportato da AI21 Labs, che ha affermato di dimezzare i costi di intelligenza artificiale della sua azienda a $ 100.000 al mese.ù
Secondo quanto riferito, Microsoft sta lavorando su un chip segreto
Nel tentativo di ridurre il costo dell’esecuzione di modelli di intelligenza artificiale generativa, Microsoft sta sviluppando un chip di intelligenza artificiale che chiama Athena, secondo quanto riferito per la prima volta da The Information. Il progetto, iniziato nel 2019, arriva anni dopo che Microsoft ha stretto un accordo da 1 miliardo di dollari con OpenAI che richiedeva a OpenAI di eseguire i suoi modelli esclusivamente sui server cloud Azure di Microsoft.
L’idea alla base del chip era duplice, secondo The Information. I dirigenti di Microsoft si sono resi conto che stavano rimanendo indietro rispetto a Google e Amazon nei loro sforzi per costruire i propri chip interni, ha detto a The Information una fonte a conoscenza della questione. Allo stesso tempo, secondo quanto riferito, Microsoft stava cercando alternative più economiche – i suoi modelli di intelligenza artificiale erano eseguiti su chip Nvidia noti come unità di elaborazione grafica – e ha deciso di costruire un chip meno costoso.
Quasi quattro anni dopo, secondo quanto riferito, più di 300 dipendenti Microsoft stanno ora lavorando al chip. Il chip potrebbe essere rilasciato per uso interno da Microsoft e OpenAI già dal prossimo anno, hanno detto a The Information due fonti vicine alla questione.