META LANZA LLAMA 3: IL NUOVO LARGE LANGUAGE MODEL DI META
Ad aprile 2024, Meta ha compiuto un ulteriore passo avanti proponendo quello che presenta come il Large Language Model (LLM) più evoluto al momento disponibile sulla scena. Si tratta di Llama 3, un potente modello linguistico pre-addestrato e ottimizzato con 8 miliardi (8B) e 70 miliardi (70B) di parametri, a seconda della versione. Per questo si rivela adatto a una vastissima gamma di possibili campi applicativi.
DATI NON INGLESI E ALTA QUALITÀ
Rispetto al predecessore Llama 2, poggia il suo funzionamento su un set di dati che è sette volte più grande e che, soprattutto, include anche dati non inglesi di alta qualità in oltre 30 lingue. Una solida pipeline di filtraggio dei dati è volta a garantire la massima qualità dei dati di addestramento, che uniscono le informazioni provenienti da diverse fonti.
POTENZA DI CALCOLO IMMENSA
Mentre, come dimostriamo in questo nostro articolo, la fase di inferenza risulta piuttosto agevole, creare il modello Llama 3 ha richiesto una potenza di calcolo immensa, con gli ingegneri di Meta che hanno utilizzato una batteria di GPU NVidia H100 (oltre 24.500).
COME ESEGUIRE LLAMA 3 IN LOCALE CON LM STUDIO
Per provare Llama 3 in locale da un sistema basato su Windows, è consigliabile scaricare e installare il Software open source LM Studio. L’interfaccia Grafica di LM Studio consente di scegliere il modello generativo desiderato e di autorizzare il download delle informazioni necessarie per il funzionamento.
INIZIARE A CHATTARE CON IL MODELLO SCARICATO IN LOCALE
Una volta completato il download del modello, è possibile avviare una conversazione con Llama 3 utilizzando il pulsante AI Chat presente nell’interfaccia di LM Studio. L’utente può scegliere quale modello utilizzare per avviare una sessione di chat e interagire con il sistema passando gli input desiderati.
USARE LE API PER DIALOGARE CON LM STUDIO
Una delle migliori caratteristiche di LM Studio è il supporto per le API, che consente agli sviluppatori di interagire con i modelli scaricati in locale dalle proprie applicazioni. È possibile avviare un server dedicato all’interno di LM Studio e dialogare con esso utilizzando il protocollo HTTP sulla porta specificata.
COME ESEGUIRE LLAMA 3 SU UNA SCHEDA RASPBERRY PI 5
Ollama WebUI è un’applicazione dotata di interfaccia grafica che consente di interagire con modelli generativi come Llama 3 su sistemi Linux, inclusa la scheda Raspberry Pi 5. Digitando alcuni comandi nel terminale, è possibile avviare Ollama e utilizzare il modello Llama 3 in locale. Inoltre, è possibile dialogare con Ollama e il modello Llama 3 utilizzando l’API REST dedicata.
Concludendo, Llama 3 rappresenta un importante passo avanti nel campo dei Large Language Models, offrendo potenzialità immense per l’analisi del linguaggio naturale e l’Intelligenza Artificiale. Grazie a strumenti come LM Studio e Ollama, è possibile sfruttare appieno le capacità di questo modello anche in ambienti locali, come Windows e Raspberry Pi 5.