Con l’ultima versione di ChatGPT, GPT-4, rilasciata a marzo 2023, molti ora si chiedono perché sia così lento rispetto al suo predecessore, GPT-3.5. Allora, qual è la ragione principale qui?
Perché ChatGPT-4 è così lento e dovresti invece attenersi a GPT-3.5?
Cos’è ChatGPT-4?
ChatGPT-4 è il modello più recente del chatbot di OpenAI, noto generalmente come ChatGPT. ChatGPT è alimentato dall’intelligenza artificiale, che gli consente di rispondere alle tue domande e ai tuoi suggerimenti molto meglio dei precedenti chatbot. ChatGPT utilizza un modello di linguaggio di grandi dimensioni alimentato da un GPT (Generative Pre-trained Transformer) per fornire informazioni e contenuti agli utenti pur essendo in grado di conversare.
ChatGPT ha una vasta gamma di funzionalità, rendendolo utile per milioni. Ad esempio, ChatGPT può scrivere storie, formulare barzellette, tradurre testi, istruire gli utenti e altro ancora. Sebbene ChatGPT possa essere utilizzato anche per atti più illeciti, come la creazione di malware, la sua versatilità è in qualche modo rivoluzionaria.
Il modello GPT-4 di ChatGPT è stato rilasciato il 14 marzo 2023. Questa versione di ChatGPT è progettata per comprendere meglio il linguaggio emotivo attraverso il testo, oltre a comprendere meglio i diversi dialetti linguistici e l’elaborazione delle immagini. GPT-4 può anche tenere conversazioni più lunghe e rispondere in modo efficace a richieste dell’utente più lunghe.
Inoltre, i parametri di GPT-4 superano di gran lunga quelli di GPT-3.5. I parametri di ChatGPT determinano come l’IA elabora e risponde alle informazioni. In breve, i parametri determinano la capacità del chatbot di interagire con gli utenti. Mentre GPT-3.5 ha 175 miliardi di parametri, GPT-4 ha un incredibile valore compreso tra 100 trilioni e 170 trilioni (si dice: OpenAI non ha confermato questa cifra).
È stato GPT-3.5 di OpenAI ad essere utilizzato per alimentare ChatGPT, che ora è il chatbot AI più popolare al mondo. Quindi, GPT-3.5 ha lasciato un segno innegabile nel regno dell’IA. Ma le cose procedono sempre nel settore tecnologico, quindi non sorprende che GPT-3.5 abbia ora un successore in GPT-4.
Tuttavia, GPT-4 non è affatto perfetto. In effetti, i lunghi tempi di risposta di GPT-4 stanno suscitando molto scalpore. Quindi esaminiamo questo problema e perché potrebbe accadere.
ChatGPT-4 è lento
Molti hanno notato al rilascio di GPT-4 che il nuovo chatbot di OpenAI era incredibilmente lento. Ciò ha lasciato frustrati decine di utenti, poiché GPT-4 doveva essere un passo avanti rispetto a GPT-3.5, non indietro. Di conseguenza, gli utenti di GPT-4 si sono rivolti a piattaforme online, come Reddit e il forum della community di OpenAI, per discutere il problema.
SU Forum della comunità di OpenAI, un certo numero di utenti si è fatto avanti con le proprie frustrazioni relative al ritardo GPT-4. Un utente ha affermato che GPT-4 era “estremamente lento” da parte sua e che anche piccole richieste fatte al chatbot hanno comportato ritardi insolitamente lunghi di oltre 30 secondi.
Altri utenti si sono affrettati a condividere le loro esperienze con GPT-4, con uno che ha commentato sotto il post che “la stessa chiamata con gli stessi dati può richiedere fino a 4 volte più lentamente di 3,5 turbo”.
In un altro Post del forum della comunità OpenAI, un utente ha commentato che le sue richieste a volte vengono accolte con un messaggio di “errore nel flusso del corpo”, con conseguente mancata risposta. Nello stesso thread, un altro individuo ha dichiarato di non essere riuscito a far sì che GPT-4 “risponda con successo con uno script completo”. Un altro utente ha commentato di aver continuato a riscontrare errori di rete durante il tentativo di utilizzare GPT-4.
Con ritardi e risposte fallite o a metà, sembra che GPT-4 sia disseminato di problemi che stanno rapidamente scoraggiando gli utenti.
Allora perché, esattamente, sta succedendo questo? C’è qualcosa che non va con GPT-4?
Perché GPT-4 è lento rispetto a GPT-3.5?
Nel post del forum della comunità OpenAI a cui si fa riferimento sopra, un utente ha risposto suggerendo che il ritardo era dovuto a un “problema attuale con sovraccarico dell’intera infrastruttura”, aggiungendo che c’è una sfida posta nell'”affrontare la scalabilità in un lasso di tempo così breve con questa popolarità e numero di utenti sia della chat che dell’API.”
In un Post di Reddit caricato nel subreddit r/singularity, un utente ha esposto alcuni possibili motivi per la lentezza di GPT-4, a partire da una dimensione del contesto maggiore. All’interno dell’ecosistema GPT, la dimensione del contesto si riferisce alla quantità di informazioni che una determinata versione di chatbot può elaborare e quindi produrre informazioni. Mentre la dimensione del contesto di GPT-3.5 era 4K, quella di GPT-4 è il doppio. Quindi, avere una dimensione del contesto di 8K potrebbe avere un impatto sulle velocità complessive di GPT-4.
L’autore di Reddit ha anche suggerito che la guidabilità e il controllo migliorati di GPT-4 potrebbero svolgere un ruolo nei tempi di elaborazione del chatbot. Qui, l’autore ha affermato che la maggiore manovrabilità e il controllo delle allucinazioni e del linguaggio inappropriato di GPT-4 potrebbero essere i colpevoli, poiché queste caratteristiche aggiungono ulteriori passaggi al metodo di elaborazione delle informazioni di GPT-4.
Inoltre, è stato proposto che la capacità di GPT-4 di elaborare le immagini potrebbe rallentare le cose. Questa utile funzione è amata da molti ma potrebbe avere un problema. Dato che si dice che GPT-4 impieghi 10-20 secondi per elaborare un’immagine fornita, c’è la possibilità che questo componente stia allungando i tempi di risposta (sebbene ciò non spieghi i ritardi riscontrati dagli utenti che forniscono solo messaggi di testo).
Altri utenti hanno suggerito che la novità di ChatGPT-4 stia giocando un ruolo importante in questi ritardi. In altre parole, alcuni pensano che il nuovo chatbot di OpenAI debba sperimentare alcuni problemi crescenti prima che tutti i difetti possano essere appianati.
Ma il motivo principale per cui GPT-4 è lento è il numero di parametri che GPT-4 può richiamare rispetto a GPT-3.5. Il fenomenale aumento dei parametri significa semplicemente che il nuovo modello GPT impiega più tempo per elaborare le informazioni e rispondere con precisione. Ottieni risposte migliori con una maggiore complessità, ma per arrivarci ci vuole un po’ più di tempo.
Dovresti scegliere GPT-3.5 su GPT-4?
Quindi, con questi problemi in mente, dovresti usare GPT-3.5 o GPT-4?
Al momento della scrittura, sembra che GPT-3.5 sia l’opzione più scattante rispetto a GPT-4. Così tanti utenti hanno riscontrato ritardi che è probabile che il problema del tempo sia presente su tutta la linea, non solo con poche persone. Quindi, se ChatGPT-3.5 sta attualmente soddisfacendo tutte le tue aspettative e non vuoi aspettare una risposta in cambio di funzionalità extra, potrebbe essere saggio attenersi a questa versione per ora.
Tuttavia, dovresti notare che GPT-4 non è solo GPT-3.5 ma più lento. Questa versione del chatbot di OpenAI presenta numerosi vantaggi rispetto al suo predecessore. Se stai cercando un chatbot AI più avanzato e non ti dispiace aspettare più a lungo per le risposte, potrebbe valere la pena passare da GPT-3.5 a GPT-4.
Nel tempo, i ritardi di GPT-4 potrebbero essere ridotti o completamente risolti, quindi la pazienza potrebbe essere una virtù qui. Sia che tu provi a passare a GPT-4 ora o ad aspettare ancora un po’ per vedere come vanno le cose con questa versione, puoi comunque ottenere molto dall’elegante chatbot di OpenAI.
GPT-4 è più avanzato ma presenta un ritardo
Sebbene GPT-4 abbia numerose funzionalità avanzate rispetto a GPT-3.5, i suoi ritardi significativi e gli errori di risposta lo hanno reso inutilizzabile per alcuni. Questi problemi potrebbero essere risolti nel prossimo futuro, ma per ora, GPT-4 ha sicuramente alcuni ostacoli da superare prima di essere accettato su scala più ampia.