Le GPU Intel Arc sono ora supportate nell’estensione Intel per PyTorch, potenziando le funzionalità di intelligenza artificiale, deep learning e LLM

Le GPU Arc A-Series sono ora supportate all’interno di Intel Extension for PyTorch (IPEX), offrendo funzionalità di intelligenza artificiale più veloci nel deep learning e nei LLM.

L’estensione Intel per PyTorch ora sfrutta appieno l’hardware XMX AI integrato nelle GPU Arc A-Series

Le GPU Intel Arc A-Series basate sull’architettura Alchemist hanno un sacco di potenziale hardware che viene realizzato giorno dopo giorno. La divisione software ha fatto un ottimo lavoro nell’ottimizzare le prestazioni di gioco di queste GPU e ora l’attenzione è rivolta al mercato emergente dell’intelligenza artificiale in cui le unità XMX presenti su questi chip verranno pienamente utilizzate.

In un aggiornamento, Intel ha confermato che IPEX (Intel Extension for PyTorch) offre ora il supporto per le GPU Arc A-Series su piattaforme Windows, Linux e WSL2. Con questo supporto appena aggiunto, le GPU Intel A Series non solo aumenterebbero l’accelerazione dei modelli di deep learning come LLM, ma apporteranno anche nuove ottimizzazioni per l’hardware Intel, consentendo prestazioni più veloci e offrendo agli utenti la possibilità di eseguire modelli PyTorch sulla linea di GPU Alchemist .

Per quelli di voi che dispongono di una GPU Intel Arc A-Series e desiderano sfruttare il motore AI XMX all’interno di PyTorch, l’azienda ha pubblicato un blog completo su come eseguire l’interfaccia Llama 2 su Windows e WSL2 qui . Secondo il team del software AI di Intel:

• Le GPU sono adatte per carichi di lavoro LLM (Large Language Model) poiché eccellono per il massiccio parallelismo dei dati e l’elevata larghezza di banda della memoria. La grafica Arc A-Series, inclusa la grafica Arc A770, è una grafica ad alte prestazioni, con un massimo di 512 motori Xe Matrix Extensions (XMX), che forniscono funzionalità per l’esecuzione accelerata di modelli di deep learning, inclusi LLM.
• IPEX estende PyTorch con le più recenti ottimizzazioni delle prestazioni per l’hardware Intel, sfruttando i motori XMX sulle GPU discrete Intel.
• L’estensione IPEX per PyTorch abilita il dispositivo PyTorch XPU, che gli consente di spostare facilmente il modello PyTorch e inserire i dati nel dispositivo per l’esecuzione su GPU discreta Intel con accelerazione GPU.
• L’ultima versione di IPEX (v2.1.10+xpu) supporta ufficialmente Arc A-Series Graphics su WSL2, Windows nativo e Linux nativo.
• Dimostrazione dell’esecuzione dell’inferenza di Llama 2 7B e Llama 2-Chat 7B su Arc A770 Graphics su Windows e WSL2 tramite Ipex.
• Per eseguire Llama 2 o qualsiasi altro modello PyTorch sulle GPU Arc A-Series, aggiungi semplicemente alcune righe di codice aggiuntive per importare intel_extension_for_pytorch e. to(“xpu”) per spostare il modello e i dati sul dispositivo per l’esecuzione sulla GPU Arc A-Series.

Di recente abbiamo pubblicato un articolo che cita l’ex capo della GPU di Intel, Raja Koduri, che ha menzionato come le GPU per PC client e da gioco abbiano svolto un ruolo cruciale nel consentire il successo dell’intelligenza artificiale . L’espansione del supporto da parte di Intel alle GPU Arc A-Series è un’ottima cosa per il segmento di mercato in cui NVIDIA e AMD sono in prima linea offrendo un rapido supporto AI su hardware incentrato sul consumatore.