**ATTEZIONE: IL SEGRETO DEI MODELLI GENERATIVI NEL MONDO DELL’Intelligenza Artificiale**
Nell’ambito dell’**intelligenza artificiale** (IA), il concetto di *Transformer* – presentato da un gruppo di ingegneri Google nel 2017 – ha letteralmente rivoluzionato il panorama dei modelli generativi. Questi modelli, alla base del funzionamento di sofisticati chatbot come ChatGPT, si basano su un concetto chiave: l’**attenzione** *(attention)*.
I moderni *Large Language Models* (LLM) svolgono un compito fondamentale: leggono una frase e cercano **prevedere la parola successiva**. Questo processo coinvolge la suddivisione delle frasi in unità chiamate ***token*** e l’elaborazione di questi token tramite modelli linguistici. I Transformer, in particolare, protagonisti dello storico documento “*Attention Is All You Need*” si distinguono per la loro capacità di tenere in debita considerazione il **contesto** nella rappresentazione di ciascun token, proprio grazie al concetto di “attenzione”.
# COME FUNZIONA L’ATTENZIONE NEI MODELLI GENERATIVI CHE GOVERNANO LE INTELLIGENZE ARTIFICIALI
3Blue1Brown ha pubblicato una videoguida che illustra, passo dopo passo, il meccanismo di attenzione spiegando come sia responsabile del corretto funzionamento dei moderni **modelli generativi** e permetta di ottenere frasi di qualità in risposta a qualunque genere di input.
Come abbiamo evidenziato in precedenza, una frase è suddivisa in più unità chiamate *token*: i LLM si occupano di elaborare queste unità. In realtà un token non corrisponde esattamente a una singola **parola** ma nel Video, per rendere le cose più semplici, si offre questa visione approssimativa.
L’***embedding*** rappresenta il primo passo nell’elaborazione di un token. Questo processo associa a ciascun token un **vettore multidimensionale**: questi vettori riflettono le associazioni semantiche, consentendo al modello di comprendere le **relazioni tra le parole**.
Grazie alla loro natura, i vettori aiutano ad estrarre il **significato** intrinseco delle parole (ne parliamo anche nell’articolo dedicato alle Vector Search Oracle). Tuttavia, il significato di una parola può variare a seconda del contesto, rendendo necessaria l’attenzione per adeguare l’***embedding*** alle varie situazioni specifiche.
# RUOLO DELL’ATTENZIONE NELLE ATTIVITÀ DI EMBEDDING
Osservando lo **spazio vettoriale**, si scoprirà ovviamente che parole dal significato “compatibile” (semanticamente simili), come ad esempio “*figlia-figlio*” e “*donna-uomo*“, sono caratterizzate da vettori molto simili.
L’attenzione consente di calcolare quanto sono “rilevanti” i **token vicini** (si pensi alle parole che compongono una frase) regolando gli ***embedding*** di conseguenza. Grazie all’attenzione, quindi, il modello generativo può discernere tra significati diversi di una stessa parola o di parole accoppiate insieme ad altre, come ad esempio “*torre*” e “*Torre Eiffel*“.
…