Amazon Web Services (AWS), la divisione dei servizi cloud di Amazon, ha annunciato oggi la disponibilità generale delle istanze DL1 di Elastic Compute Cloud (EC2).
Sebbene i nuovi tipi di istanze generalmente non siano particolarmente nuovi, DL1 (in particolare DL1.24xlarge) è il primo tipo in AWS progettato per l’addestramento di modelli di machine learning, afferma Amazon, alimentato dagli acceleratori Gaudi di Habana Labs di proprietà di Intel.
A sviluppatori come Seagate, Fractal, Indel, Riskfuel e Leidos è stato concesso l’accesso anticipato a Gaudi in esecuzione su AWS prima del lancio di oggi. “Questa è la prima istanza di addestramento AI di AWS che non si basa su GPU”, ha scritto Habana in un post sul blog .
“La motivazione principale per creare questa nuova classe di istanze di addestramento è stata presentata da Andy Jassy nel 2020 re:Invent: ‘Fornire ai nostri clienti finali un rapporto prezzo/prestazioni fino al 40% migliore rispetto all’attuale generazione di istanze basate su GPU.'”
Addestramento del modello più economico
L’apprendimento automatico sta diventando mainstream man mano che le aziende realizzano l’impatto sul business dell’implementazione di modelli di intelligenza artificiale nelle loro organizzazioni. L’utilizzo dell’apprendimento automatico generalmente inizia con l’addestramento di un modello per riconoscere i modelli imparando dai set di dati, quindi applicando il modello a nuovi dati per fare previsioni. Il mantenimento dell’accuratezza della previsione di un modello richiede un riaddestramento frequente del modello, che richiede una notevole quantità di risorse, con conseguente aumento delle spese. Si stima che la sussidiaria di Google DeepMind abbia speso 35 milioni di dollari per addestrare un sistema per imparare il gioco da tavolo cinese Go.
Con DL1 – la prima risposta di AWS alle unità di elaborazione del tensore (TPU) di Google , un set di chip acceleratori personalizzati in esecuzione su Google Cloud Platform – Amazon e Habana affermano che i clienti AWS possono ora addestrare i modelli più velocemente e con un rapporto prezzo-prestazioni fino al 40% migliore rispetto alle ultime istanze EC2 alimentate da GPU.
Le istanze DL1 sfruttano fino a otto acceleratori Gaudi creati appositamente per accelerare l’addestramento, abbinati a 256 GB di memoria a larghezza di banda elevata, 768 GB di memoria di sistema, processori Intel Xeon Scalable (Cascade Lake) personalizzati di Amazon di seconda generazione, 400 Gbps di throughput di rete, e fino a 4 TB di storage NVMe locale.
Gaudi presenta una delle prime implementazioni on-die del settore di Remote Direct Memory Access over Ethernet (RDMA e RoCE) su un chip AI. Ciò fornisce 10 collegamenti di comunicazione da 100 Gbps o 20 da 50 Gbps, consentendo di scalare fino a altrettante “migliaia” di schede acceleratrici discrete.
Quando provengono da un’istanza basata su GPU o CPU, i clienti devono utilizzare l’SDK SynapseAI di Habana per migrare gli algoritmi esistenti a causa delle differenze di architettura. Habana fornisce in alternativa modelli pre-addestrati per la classificazione delle immagini, il rilevamento degli oggetti, l’elaborazione del linguaggio naturale e i sistemi di raccomandazione nel suo repository GitHub.