Oggi parliamo di un progresso in Bard, la risposta di Google a ChatGPT, e di come risolve uno dei problemi più urgenti dei chatbot di oggi: la loro tendenza a inventare cose.
Dal giorno in cui sono arrivati i chatbot l’anno scorso, i loro creatori ci hanno avvertito di non fidarci di loro. Il testo generato da strumenti come ChatGPT non si basa su un database di fatti accertati. Invece, i chatbot sono predittivi, ovvero fanno ipotesi probabilistiche su quali parole sembrano giuste in base all’enorme corpus di testo su cui sono stati addestrati i loro grandi modelli linguistici sottostanti.
Di conseguenza, i chatbot sono spesso “sicuramente sbagliati”, per usare il termine del settore. E questo può ingannare anche le persone più istruite, come abbiamo visto quest’anno nel caso di l’avvocato che ha presentato le citazioni generate da ChatGPT – senza rendersi conto che ogni singolo caso era stato fabbricato di sana pianta.
Questo stato di cose spiega perché ritengo che i chatbot siano per lo più inutili come assistenti di ricerca. Ti diranno tutto quello che vuoi, spesso in pochi secondi, ma nella maggior parte dei casi senza citare il loro lavoro. Di conseguenza, finisci per dedicare molto tempo alla ricerca delle loro risposte per vedere se sono vere, spesso vanificando del tutto lo scopo del loro utilizzo.
Quando è stato lanciato all’inizio di quest’anno, Bard di Google è arrivato con un pulsante “Google It” che inviava la tua query al motore di ricerca dell’azienda. Ciò ha reso leggermente più veloce ottenere una seconda opinione sull’output del chatbot, ma ha comunque posto a tuo carico l’onere di determinare cosa è vero e cosa è falso.
A partire da questa settimana, però, Bard lavorerà un po’ di più per tuo conto. Dopo che il chatbot ha risposto a una delle tue domande, premendo il pulsante Google verrà “ricontrollato” la tua risposta. Ecco come l’azienda lo ha spiegato in un post sul blog:
Quando si fa clic sull’icona “G”, Bard leggerà la risposta e valuterà se sono presenti contenuti sul Web per comprovarla. Quando è possibile valutare un’affermazione, puoi fare clic sulle frasi evidenziate e ottenere ulteriori informazioni sulle informazioni di supporto o contraddittorie trovate dalla Ricerca.
Ricontrollare una query farà sì che molte delle frasi all’interno della risposta diventino verdi o marroni. Le risposte evidenziate in verde sono collegate alle pagine web citate; passa il mouse sopra uno e Bard ti mostrerà la fonte delle informazioni. Le risposte evidenziate in marrone indicano che Bard non sa da dove provengano le informazioni, evidenziando un probabile errore.
Quando ho ricontrollato la risposta di Bard alla mia domanda sulla storia della band Radiohead, ad esempio, mi ha restituito molte frasi evidenziate in verde che corrispondevano alle mie conoscenze. Ma ha anche trasformato questa frase in marrone: “Hanno vinto numerosi premi, tra cui sei Grammy Awards e nove Brit Awards”. Passando il mouse sopra le parole si vedeva che la ricerca di Google aveva mostrato informazioni contraddittorie; in effetti, i Radiohead non hanno mai vinto (criminalmente) un solo Brit Award, tanto meno nove.
“Vi racconterò di una tragedia accaduta nella mia vita”, mi ha detto Jack Krawczyk, direttore senior del prodotto di Google, in un’intervista la settimana scorsa.
Krawczyk aveva cucinato il pesce spada a casa e l’odore che ne risultava permeava tutta la casa. Usò Bard per cercare modi per sbarazzarsene e poi ricontrollò i risultati per separare i fatti dalla finzione. Si scopre che pulire a fondo la cucina non risolverebbe il problema, come aveva inizialmente affermato il chatbot. Ma mettere delle ciotole di bicarbonato di sodio in casa potrebbe aiutare.
Se ti stai chiedendo perché Google non ricontrolla risposte come questa Prima mostrandoteli, anch’io l’ho fatto. Krawczyk mi ha detto che, data l’ampia varietà di modi in cui le persone usano Bard, il doppio controllo spesso non è necessario. (Di solito non gli chiederesti di ricontrollare una poesia che hai scritto, o un’e-mail che ha redatto e così via.)
E sebbene il doppio controllo rappresenti un chiaro passo avanti, spesso richiede comunque di recuperare tutte quelle citazioni e assicurarsi che Bard interpreti correttamente i risultati della ricerca. Almeno quando si tratta di ricerca, gli esseri umani continuano a tenere la mano dell’Intelligenza Artificiale tanto quanto questa tiene la nostra.
Tuttavia, è uno sviluppo positivo.
“Potremmo aver creato il primo modello linguistico che ammette di aver commesso un errore”, mi ha detto Krawczyk. E data la posta in gioco man mano che questi modelli migliorano, garantire che i modelli di intelligenza artificiale confessino accuratamente i propri errori dovrebbe essere una priorità assoluta per il settore.
Martedì Bard ha ricevuto un altro grande aggiornamento: ora può connettersi a Gmail, Documenti, Drive e ad una manciata di altri prodotti Google, inclusi Youtube e Maps. Le estensioni, come vengono chiamate, ti consentono di cercare, riepilogare e porre domande sui documenti che hai archiviato nel tuo account Google in tempo reale.
Per ora è limitato agli account personali, il che ne limita drasticamente l’utilità, almeno per me. A volte è interessante come modo alternativo di navigare sul Web: ha fatto un buon lavoro, ad esempio, quando gli ho chiesto di mostrarmi alcuni buoni Video su come iniziare a lavorare nel design degli interni. (Il fatto che tu possa riprodurre quei video in linea nella finestra di risposta di Bard è un bel tocco.)
Ma anche le estensioni sbagliano molte cose e non c’è alcun pulsante da premere qui per migliorare i risultati. Quando ho chiesto a Bard di trovare la mia email più vecchia con un amico con cui scambio messaggi in Gmail ormai da 20 anni, Bard mi ha mostrato un messaggio del 2021. Quando ho chiesto quali messaggi nella mia casella di posta potrebbero richiedere una risposta rapida, Bard ha suggerito un messaggio di spam con oggetto “La stampa senza problemi è possibile con HP Instant Ink”.
Funziona meglio negli scenari in cui Google può guadagnare denaro. Chiedigli di pianificare un itinerario per un viaggio in Giappone, comprese le informazioni sul volo e sull’hotel, e visualizzerà una buona selezione di scelte da cui Google può prendere una parte dell’acquisto.
Alla fine, immagino che le estensioni di terze parti arriveranno a Bard, proprio come in precedenza dovevano chattare con GPT. (Si chiamano plug-in laggiù.) La promessa di poter fare cose sul web attraverso un’interfaccia conversazionale è enorme, anche se l’esperienza oggi è solo così così.
La domanda a lungo termine è quanto bene l’intelligenza artificiale sarà in grado di controllare il proprio lavoro. Oggi, il compito di indirizzare i chatbot verso la risposta giusta grava ancora molto sulla persona che digita il messaggio. In questo momento, sono fortemente necessari strumenti che spingano le IA a citare il proprio lavoro. Alla fine, però, speriamo che gran parte di questo lavoro ricada sugli strumenti stessi, e senza che noi dobbiamo sempre chiederlo.