VM A3 ora in anteprima privata su Google Cloud, basate su GPU NVIDIA H100

Al suo evento I/O incentrato sull’intelligenza artificiale, Google ha annunciato che i clienti di Google Cloud sarebbero stati in grado di iniziare a utilizzare macchine virtuali A3 alimentate da GPU NVIDIA H100 in un’anteprima privata. Il gigante della ricerca ha affermato che le sue nuove A3VM rappresentano un “passo avanti” per i clienti che sviluppano modelli avanzati di machine learning.

Le caratteristiche principali delle macchine virtuali (VM) GPU A3 sono le seguenti:

• 8 GPU H100 che utilizzano l’architettura Hopper di NVIDIA, offrendo un throughput di elaborazione 3 volte superiore
• Larghezza di banda bisezionale di 3,6 TB/s tra le 8 GPU di A3 tramite NVIDIA NVSwitch e NVLink 4.0
• Processori scalabili Intel Xeon di quarta generazione di nuova generazione
• 2 TB di memoria host tramite DIMM DDR5 a 4800 MHz
• Larghezza di banda di rete 10 volte maggiore alimentata dalle nostre IPU abilitate per hardware, stack di comunicazione GPU inter-server specializzato e ottimizzazioni NCCL

Utilizzando queste macchine virtuali, le aziende che devono addestrare modelli ML complessi possono farlo molto più rapidamente. Sono costruiti pensando a modelli di intelligenza artificiale impegnativi che sono responsabili dell’IA generativa di oggi .

“Le VM A3 di Google Cloud, alimentate dalle GPU NVIDIA H100 di nuova generazione, accelereranno l’addestramento e il servizio di applicazioni AI generative”, ha affermato Ian Buck, vicepresidente dell’hyperscale e dell’elaborazione ad alte prestazioni di NVIDIA. “Sulla scia delle istanze G2 lanciate di recente da Google Cloud, siamo orgogliosi di continuare il nostro lavoro con Google Cloud per aiutare a trasformare le aziende di tutto il mondo con un’infrastruttura AI appositamente costruita.”

Secondo Google, i suoi nuovi supercomputer A3 possono fornire fino a 26 exaFlop di prestazioni AI ed è la prima istanza GPU a utilizzare IPU da 200 Gbps progettate su misura con trasferimenti di dati da GPU a GPU che possono bypassare l’host della CPU. Ciò consente una larghezza di banda di rete dieci volte maggiore, accelerando le cose.