Google ha annunciato PaLM 2: il suo ultimo modello di linguaggio AI e concorrente di sistemi rivali come GPT-4 di OpenAI.
“I modelli PaLM 2 sono più forti nella logica e nel ragionamento, grazie all’ampia formazione in logica e ragionamento”, ha affermato il CEO di Google Sundar Pichai sul palco della conferenza I/O dell’azienda. “È anche addestrato sul testo multilingue che copre oltre 100 lingue.”
PaLM 2 è molto migliore in una serie di attività basate su testo, ha detto ai giornalisti il direttore della ricerca senior di Google Slav Petrov in una tavola rotonda prima dell’annuncio del modello alla conferenza I/O di Google, inclusi ragionamento, codifica e traduzione. “È notevolmente migliorato rispetto a PaLM 1 (che era annunciato nell’aprile 2022)”, ha detto Petrov.
Come esempio delle sue capacità multilingue, Petrov ha mostrato come PaLM 2 sia in grado di comprendere idiomi in diverse lingue, citando l’esempio della frase tedesca “Ich verstehe nur Bahnhof”, che letteralmente si traduce in “capisco solo la stazione dei treni” ma è meglio inteso come “non capisco cosa stai dicendo” o, come un linguaggio inglese, “per me è tutto greco”.
In un documento di ricerca che descrive le capacità di PaLM 2, gli ingegneri di Google hanno affermato che la competenza linguistica del sistema è “sufficiente per insegnare quella lingua” e hanno notato che ciò è in parte dovuto a una maggiore prevalenza di testi non inglesi nei suoi dati di addestramento.
Un esempio delle competenze multilingue ampliate di PaLM 2.
Come altri modelli linguistici di grandi dimensioni, la cui creazione richiede enormi quantità di tempo e risorse, PaLM 2 è meno un singolo prodotto che una famiglia di prodotti, con versioni diverse che verranno implementate in contesti consumer e aziendali. Il sistema è disponibile in quattro dimensioni, denominate Gecko, Otter, Bison e Unicorn, dal più piccolo al più grande, ed è stato messo a punto su dati specifici del dominio per eseguire determinate attività per i clienti aziendali.
Pensa a questi adattamenti come prendere un telaio di base per camion e aggiungere un nuovo motore o paraurti anteriore per svolgere determinati compiti o lavorare meglio su terreni specifici. Esiste una versione di PaLM addestrata sui dati sanitari (Med-PaLM 2), che secondo Google può rispondere a domande simili a quelle trovate nell’esame di licenza medica degli Stati Uniti a un livello “esperto” e un’altra versione addestrata sui dati di sicurezza informatica (Sec-PaLM 2 ) che può “spiegare il comportamento di potenziali script dannosi e aiutare a rilevare le minacce nel codice”, ha affermato Petrov. Entrambi questi modelli saranno disponibili tramite Google Cloud, inizialmente per clienti selezionati.
All’interno del dominio di Google, PaLM 2 è già utilizzato per potenziare 25 funzionalità e prodotti, tra cui Bard, il chatbot sperimentale dell’azienda. Gli aggiornamenti disponibili tramite Bard includono funzionalità di codifica migliorate e un maggiore supporto linguistico. Viene utilizzato anche per potenziare le funzionalità nelle app di Google Workspace come Documenti, Presentazioni e Fogli.
In particolare, Google afferma che la versione più leggera di PaLM 2, Gecko, è abbastanza piccola da funzionare sui telefoni cellulari, elaborando 20 token al secondo, equivalenti all’incirca a circa 16 o 17 parole. Google non ha detto quale hardware è stato utilizzato per testare questo modello, solo che era in esecuzione “sui telefoni più recenti”. Tuttavia, la miniaturizzazione di tali modelli linguistici è significativa. Tali sistemi sono costosi da eseguire nel cloud e poterli utilizzare localmente avrebbe altri vantaggi, come una migliore privacy. Il problema è che le versioni più piccole dei modelli linguistici sono inevitabilmente meno capaci dei loro fratelli maggiori.
Un esempio delle migliori capacità di ragionamento di PaLM 2.
Con PaLM 2, Google spera di colmare il “gap AI” tra l’azienda e concorrenti come Microsoft, che ha spinto in modo aggressivo gli strumenti del linguaggio AI nella sua suite di software Office. Microsoft ora offre funzionalità di intelligenza artificiale che aiutano a riepilogare documenti, scrivere e-mail, generare diapositive per presentazioni e molto altro. Google dovrà mantenere la parità con l’azienda o rischiare di essere percepita come lenta nell’implementare la sua ricerca sull’IA.
Sebbene PaLM 2 sia certamente un passo avanti per il lavoro di Google sui modelli di linguaggio AI, soffre di problemi e sfide comuni alla tecnologia più in generale.
Ad esempio, alcuni esperti stanno iniziando a mettere in discussione la legalità dei dati di formazione utilizzati per creare modelli linguistici. Questi dati vengono solitamente estratti da Internet e spesso includono testo protetto da copyright ed ebook piratati. Le aziende tecnologiche che creano questi modelli hanno generalmente risposto rifiutandosi di rispondere a domande su dove provengono i loro dati di formazione. Google ha continuato questa tradizione nella sua descrizione di PaLM 2, notando solo che il corpus di addestramento del sistema è composto da “un insieme diversificato di fonti: documenti web, libri, codice, matematica e dati conversazionali”, senza offrire ulteriori dettagli.
Ci sono anche problemi inerenti all’output di modelli linguistici come le “allucinazioni” o la tendenza di questi sistemi a inventare semplicemente informazioni. Parlando con Il limiteGoogle VP of research Zoubin Ghahramani afferma che, a questo proposito, PaLM 2 è stato un miglioramento rispetto ai modelli precedenti “nel senso che stiamo facendo un enorme sforzo per migliorare continuamente le metriche di radicamento e attribuzione” ma ha osservato che il campo nel complesso “ha ancora molta strada da fare” nella lotta alle false informazioni generate dall’IA.