giovedì, Novembre 14, 2024

Intel punta sull’open source: la libreria per utilizzare la NPU dei nuovi Core Meteor Lake

**INTEL PUNTA SULL’OPEN SOURCE: LA LIBRERIA PER USARE LA NPU DEI NUOVI CORE METEOR LAKE**

La società di Santa Clara continua ad aprire un po’ alla volta le sue tecnologie mettendole direttamente nelle mani degli sviluppatori. Abbiamo già visto il **toolkit OpenVINO**, utilizzabile da qualunque programmatore per implementare e ottimizzare modelli di deep learning. Si tratta di uno strumento Software che aiuta a sviluppare **soluzioni AI scalabili** ed efficienti con poche righe di codice. Gli sviluppatori di Audacity hanno usato OpenVINO per introdurre effetti basati sull’IA e Qualcomm stessa si è servita del toolkit per paragonare il funzionamento dei SoC Snapdragon X Elite con i Core Ultra.
Adesso Intel ha pubblicato su GitHub la sua NPU Acceleration Library, un componente software che aiuta gli sviluppatori ad eseguire i modelli generativi più compatti direttamente sul processore **Meteor Lake**. Ad esempio, grazie alla **libreria Intel**, che abilita l’uso della NPU (Neural Processing Unit) sui chip di ultima generazione, si possono eseguire LLM (Large Language Model) “ridotti un po’ più all’osso” come **TinyLlama**.

**COME FUNZIONA L’ACCELERAZIONE VIA NPU E COME ABILITARLA SUI CHIP INTEL CORE ULTRA METEOR LAKE**

Questo tweet contiene il codice utilizzato dall’ingegnere software Intel per attivare la libreria open source a sua volta in grado di spostare parte del **carico di lavoro** sulla **NPU** integrata. Come si vede in questo post, il **Task Manager** di Windows segnala l’attività sulla NPU, a conferma che l’utilizzo della libreria Intel è pienamente efficace.
Al momento, il **codice Python** e la libreria aperta sviluppata dai tecnici Intel è ovviamente compatibile soltanto con i chip Meteor Lake. Sono infatti gli unici processori dell’azienda guidata da Pat Gelsinger a integrare una NPU.
I chip **Arrow Lake** e **Lunar Lake** dovrebbero arrivare sul mercato entro la fine dell’anno andando ad estendere significativamente il ventaglio dei processori Intel compatibili. Dovrebbero altresì assicurare **prestazioni fino a tre volte superiori** rispetto a Meteor Lake nel campo dell’IA, consentendo l’esecuzione di LLM più pesanti su sistemi notebook e desktop.

**LA LIBRERIA INTEL PER LA NPU DEI SUOI PROCESSORI MANCA ANCORA DI TANTE CARATTERISTICHE: ECCO QUALI SONO**

Stando a quanto riferito da Intel, la **NPU Acceleration Library** è ancora ben lungi dall’essere completa. Basti pensare che ad oggi integra appena la **metà delle caratteristiche** inizialmente pianificate. Quali sono gli aspetti più rilevanti che ancora mancano all’appello?
Innanzi tutto, è assente il supporto per la cosiddetta **inferenza a precisione mista**. La NPU al momento non può simultaneamente usare formati di dati a precisione inferiore, come float16, insieme a formati di dati a precisione maggiore, come float32, per ridurre i requisiti computazionali e migliorare le prestazioni.
Inoltre, manca **BFloat16**, un formato di dati a 16 bit ideale per i carichi di lavoro legati all’Intelligenza Artificiale. Consente di bilanciare la precisione richiesta per i calcoli IA con l’efficienza di archiviazione e di elaborazione rispetto ai tradizionali formati a 32 bit.
La libreria open source di Intel, infine, non è compatibile con la **distribuzione dei workload** tra più unità computazionali, ad esempio tra NPU e GPU. L’aggiunta di questa caratteristiche implicherebbe un significativo miglioramento prestazionale.

**NPU UTILE ANCHE DAL PUNTO DI VISTA DELLA Sicurezza SECONDO INTEL**

Secondo Intel, la NPU è utile anche per migliorare la sicurezza informatica. La possibilità di eseguire modelli di deep learning apre al **rilevamento in tempo reale** di minacce, senza dover attendere l’elaborazione basata su cloud.
L’utilizzo della NPU per eseguire modelli di intelligenza artificiale direttamente sull’endpoint riduce la latenza, cioè il tempo necessario per elaborare la situazione e **rispondere alle minacce**; inoltre, consente di ridurre lo stress sulla larghezza di banda disponibile; migliora la privacy permettendo agli utenti di mantenere il controllo sui loro dati; consente di sviluppare approcci creativi per il riconoscimento e la neutralizzazione delle minacce.

ARTICOLI COLLEGATI:

ULTIMI ARTICOLI: