WHISPER, STABLE DIFFUSION E TANTE App AI SUGLI Smartphone CON CHIP SNAPDRAGON
Dai processori agli applicativi, Qualcomm si conferma sempre di più Software company. L’azienda di San Diego ha portato al Mobile World Congress quella che riteniamo essere la novità in assoluto più interessante nell’ambito dell’integrazione dell’Intelligenza Artificiale sullo smartphone.
L’AI Hub, questo il nome, è un repository di oltre 75 modelli machine learning completamente ottimizzati per poter essere eseguiti in locale su un processore Snapdragon, per la precisione sulla NPU del processore.
DA DUE ANNI QUALCOMM MOSTRA LE POTENZIALITÀ DELLA SUA NPU
Da due anni infatti Qualcomm continua a tessere le lodi della sua NPU mostrando durante lo Snapdragon Summit tutto quello che può fare, eppure la maggior parte delle idee restano sulla carta e nessuno dei produttori le implementa. Quest’anno, ad esempio, Qualcomm ha mostrato Whisper, lo strumento per la trascrizione dei file audio eseguito in locale direttamente da uno smartphone con Snapdragon 8 Gen3 eppure Whisper, che è opensource, non è presente come applicativo in nessuno smartphone sul mercato.
TUTTI VOGLIONO MODELLI SVILUPPATI INTERNAMENTE
Tutti coloro che volevano una funzione simile hanno preferito sviluppare un modello dedicato, vedi Google sui Pixel o Samsung sul Galaxy S24. La stessa cosa vale anche per Stable Diffusion: lo scorso anno Qualcomm ha fatto vedere la generazione di Immagini in locale usando il noto modello open text-to-image, ma ancora oggi non esistono applicazioni che lo sfruttano.
UN AI HUB CHE SEMPLIFICA LA VITA AGLI SVILUPPATORI
Questo perché le grosse aziende vogliono puntare su modelli sviluppati internamente, quindi snobbano i modelli open, mentre per gli sviluppatori che pubblicano le app sul Play Store non è facile lavorare con il machine learning, richiede competenze sulla lavorazione e l’ottimizzazione dei modelli che non sempre hanno. Qualcomm ora li aiuta: l’AI Hub è una collezione di modelli open source chiavi in mano già ottimizzati per girare su smartphone con processore Snapdragon: sono snelli, richiedono poche risorse e ad uno sviluppatore richiedono pochissimo tempo per inserirli all’interno di un’app. Ovviamente queste applicazioni funzioneranno solo su telefoni con processore Qualcomm.
LA COLLEZIONE DI MODELLI DELL’AI HUB
La collezione di modelli oltre a Whisper include anche ControlNet, Stable Diffusion e Baichuan 7B, LLM da 7 miliardi di parametri sviluppato da Baichuan Intelligent Technology. Oltre che sul sito di Qualcomm, questi modelli saranno resi disponibili anche su Github e Hugging Face e spulciando tra quelli disponibili va messo in evidenza LLaVA, Large Language and Visual Assistant, una sorta di alternativa open a ChatGPT, modello multimodale che può accettare diversi tipi di input, testi, immagini e audio.
APPLICAZIONI PER TUTTI GLI UTENTI Android
I modelli presenti nell’AI Hub di Qualcomm potranno essere usati anche dagli sviluppatori Windows per realizzare applicativi e plugin destinati ai computer con Snapdragon X Elite a Edge: al Mobile World Congress abbiamo visto uno di questi primissimi plugin, realizzato per Gimp e basato proprio su Stable Diffusion. Generare immagini in locale con un prompt, senza pagare un abbonamento, è ora un gioco da ragazzi. A partire dalle prossime settimane potrebbero quindi arrivare una serie di app IA sul Play Store che permetteranno a tutti coloro che hanno uno smartphone Android di accedere a modelli che fino ad oggi, almeno in locale, erano preclusi.