Intel ha raddoppiato le prestazioni FP8 GPT3 per il suo chip AI Gaudi 2 negli ultimi benchmark MLPerf

Intel ha rilasciato l’aggiornamento di novembre 2023 dei risultati MLPerf Training 3.1 e ha fornito un aumento delle prestazioni del 103% rispetto alla proiezione del 90% di giugno . Ci sono solo tre acceleratori che stanno attualmente inviando risultati GPT-3 su MLPerf in questo momento: Intel, NVIDIA e Google, rendendo Gaudi 2 di Intel attualmente l’unica valida alternativa alle GPU NVIDIA (è ancora il termine corretto?) per i carichi di lavoro AI MLPerf .

Intel offre un rapporto prezzo/prestazioni competitivo ai chip Hopper all’avanguardia di NVIDIA nell’ultimo MLPerf 3.1

Intel si è affrettata a sottolineare che Xeon è l’unica CPU a presentare risultati di training anche sul benchmark MLPerf. Senza ulteriori indugi ecco le diapositive presentate:

Come potete vedere, il team Gaudi di Intel aveva inizialmente previsto un aumento delle prestazioni del 90% nell’FP8, ma è stato in grado di fornire un aumento del 103% nel benchmark di settore GPT-3, diminuendo il tempo di formazione in minuti (su 384 acceleratori) da 311,94 minuti o Da 5,2 ore fino a poco più di 2 ore o 153,58 minuti. Intel ha inoltre presentato diverse diapositive per facilitare il processo decisionale basato sul TCO (costo totale di proprietà), dimostrando che il chip Gaudi 2 offre prestazioni simili a NVIDIA H100 pur avendo un costo del server inferiore, rendendolo competitivo in termini di prezzo/prestazioni.

Sul GPTJ-99, Gaudi 2 brilla ancora di più, arrivando appena dietro ai nuovi chip Hopper di NVIDIA. Mentre la discussione di giugno riguardava il fatto che Gaudi 2 fosse semplicemente una valida alternativa ai chip NVIDIA e significativamente indietro rispetto all’H100 (solo scambiando colpi con il vecchio modello A100), ora il chip Gaudi 2 è leggermente indietro rispetto alle configurazioni H100 e GH200-96G. L’H100 è solo il 9% più veloce mentre il GH200-96G è solo il 12% più veloce di Gaudi 2 nei benchmark di throughput del server. Questo vantaggio si estende al 28% nei benchmark offline. Gaudi 2 ha sovraperformato A100 di quasi il doppio in entrambi i casi.

Infine, Intel ha anche sottolineato che Xeon è l’unica CPU che attualmente presenta i benchmark MLPerf e ha sottolineato il suo impegno nei confronti dei carichi di lavoro AI.

Informazioni sui risultati Intel Gaudi2:

Gaudi2 continua a essere l’unica valida alternativa all’H100 di NVIDIA per le esigenze di calcolo dell’intelligenza artificiale, offrendo un significativo rapporto prezzo-prestazioni. I risultati MLPerf per Gaudi2 hanno mostrato l’aumento delle prestazioni di allenamento dell’acceleratore AI: