Nello stack DGX di NVIDIA il lock-in più rigido non sta nella GPU, ma nell’interconnessione tra le GPU: NVLink e NVSwitch definiscono un dominio di memoria coerente proprietario, mentre gli strati intorno a quel dominio — il software (NCCL) e la meccanica del rack donata a Open Compute Project — sono pubblicati e riusabili. La differenza tra i due piani salta fuori appena si dimensiona un cluster di training o si valuta una via d’uscita.

La linea DGX nasce nel 2016 come server di training chiavi in mano: otto Tesla P100 (Pascal) cablate in topologia hybrid cube-mesh su NVLink di prima generazione. Quella topologia ha un limite: non ogni GPU raggiunge ogni altra GPU a banda piena in un solo salto, alcune coppie passano per nodi intermedi.

Il DGX-2 (marzo 2018) toglie quel limite con NVSwitch, un chip crossbar che collega 16 GPU V100 in un fabric NVLink completamente non bloccante: ogni GPU raggiunge ogni altra in un salto solo, con 300 GB/s di banda bidirezionale aggregata per GPU su 6 link NVLink 2.0 da 25 GB/s ciascuno (NVIDIA Developer Blog, NVSwitch Accelerates NVIDIA DGX-2). Il sistema mostra a un singolo job 512 GB di memoria HBM2 come un unico spazio. Qui il dominio NVLink smette di essere un dettaglio di cablaggio e diventa l’unità di progetto.

Le generazioni dopo allargano quel dominio. DGX A100 (2020) monta otto A100 con sei NVSwitch e aggiunge MIG per partizionare ogni GPU in sette istanze isolate. DGX H100 (2022) sale a otto H100 con NVSwitch di terza generazione e ConnectX-7 NDR a 400 Gb/s. In tutte queste configurazioni il dominio NVLink resta chiuso a otto GPU per nodo: oltre quella soglia la comunicazione passa per InfiniBand, dove latenza e banda cambiano di un ordine di grandezza.

Il salto di scala arriva con GB200 NVL72, mostrato alla GTC del 18 marzo 2024: un rack a raffreddamento liquido con 36 CPU Grace e 72 GPU B200 collegate da un NVLink Switch System che porta il dominio coerente a 72 GPU, con 1,8 TB/s di banda NVLink per GPU e 130 TB/s aggregati nel fabric (pagina prodotto NVIDIA, GB200 NVL72). Per il software, il rack si comporta come una singola GPU molto grande.

Architettura: dove cade la linea

Separare tre piani aiuta a vedere cosa è davvero legato.

Il piano del silicio di interconnessione — il protocollo NVLink e i chip NVSwitch — è proprietario e non documentato a livello di protocollo. Non c’è una seconda fonte: nessun terzo costruisce uno switch NVLink, e nessun acceleratore non NVIDIA si aggancia a un dominio NVLink. Qui si concentra il vincolo di fornitore, perché è la topologia di interconnessione, non la singola GPU, a decidere quali modelli si addestrano senza sharding manuale della memoria.

Il piano del software di collettiva è invece aperto. NCCL (NVIDIA Collective Communications Library) implementa all-reduce, all-gather, reduce-scatter, broadcast e i pattern punto-punto su cui poggia ogni framework di training distribuito; esce sotto licenza BSD a tre clausole, con il sorgente pubblico su GitHub (NVIDIA/nccl). In fase di bootstrap NCCL costruisce anelli e alberi adattati alla topologia che rileva — NVLink dentro il nodo, GPUDirect RDMA su InfiniBand tra i nodi, TCP/IP come ripiego — e quella logica di costruzione si legge. Lo strato che PyTorch o JAX chiamano per sincronizzare i gradienti si può quindi ispezionare, anche quando gira su un fabric chiuso.

Il piano meccanico ed elettrico del rack è aperto in parte. All’OCP Global Summit 2024 NVIDIA ha donato a Open Compute Project i disegni del rack GB200 NVL72 e dei compute e switch tray a raffreddamento liquido: architettura del rack, meccanica dei tray, specifiche termiche e di raffreddamento a liquido, volumetrie delle cartucce dei cavi NVLink (NVIDIA Developer Blog, NVIDIA Contributes NVIDIA GB200 NVL72 Designs to Open Compute Project). Questi disegni derivano dall’architettura MGX, e con quelli gli integratori terzi — a catalogo OCP ci sono rack di Pegatron e altri — costruiscono chassis compatibili senza ridisegnare la meccanica. Fuori dalla donazione resta proprio il protocollo che corre dentro quelle cartucce di cavo.

Il punto critico: il dominio coerente come unità di lock-in

In un cluster DGX il vincolo di fornitore non si misura contando le GPU. Si misura sulla dimensione del dominio NVLink che un singolo modello pretende. Un modello che entra nella memoria aggregata di otto GPU gira su un qualsiasi server HGX H100 con baseboard OEM (Supermicro, Dell, Lenovo) — stesso silicio, stesso NCCL, dominio NVLink a 8 GPU — e in buona parte anche su acceleratori concorrenti, perché lo strato di collettiva è portabile. Un modello che chiede un dominio coerente a 72 GPU, invece, esiste come carico eseguibile solo su un NVL72: non c’è un equivalente non NVIDIA di un fabric NVLink a quella scala, e ricostruire la stessa coerenza di memoria su InfiniBand cambia il profilo di banda e latenza al punto che il codice di training se ne accorge.

Ne segue che la decisione architetturale a costo d’uscita più alto riguarda la dimensione del modello prima ancora della scelta della GPU: disegnare un modello il cui working set in memoria supera il dominio NVLink disponibile su hardware multi-fornitore lega a un solo fabric. Quella soglia — oggi otto GPU sul silicio a seconda fonte, 72 sul fabric NVL72 a fonte unica — è il confine vero.

Implicazioni

Per chi dimensiona infrastruttura di training, lo strato aperto va sfruttato dove riduce il vincolo e ignorato dove non lo riduce. NCCL sotto BSD vuol dire che il codice di sincronizzazione è verificabile e che il tuning della collettiva non dipende da un binario opaco; la donazione a OCP vuol dire che la meccanica del rack ha più di un fornitore. Nessuno dei due, però, apre il protocollo NVLink: la portabilità di un carico resta fissata dalla dimensione del dominio coerente che il modello pretende.

Da qui una regola di progetto sobria: tenere il working set dei modelli dentro un dominio NVLink replicabile su silicio a seconda fonte finché i requisiti lo consentono, e trattare il salto a un dominio NVL72 come una scelta esplicita di vincolo di fornitore, non come una semplice scalata di capacità.

Limiti

La distinzione tra i tre piani descrive lo stato al 18 marzo 2025 e non anticipa roadmap. Le piattaforme Blackwell Ultra annunciate oggi alla GTC — GB300 NVL72, e le workstation DGX Station e DGX Spark — tengono lo stesso modello: silicio di interconnessione chiuso, NCCL aperto, meccanica del rack donata in parte a OCP. Le cifre di banda e capacità citate vengono da materiale NVIDIA e da blog tecnici di terze parti, non da misure indipendenti sotto carico; vanno lette come dichiarazioni del fornitore. Lo strato software aperto considerato qui è la sola collettiva: il driver CUDA, il firmware NVSwitch e il microcodice GPU restano binari proprietari, e cadono fuori da ciò che si può ispezionare o sostituire.

Immagine di copertina: Baseboard NVIDIA HGX B200 a otto GPU: grande scheda quadrata con otto moduli GPU Blackwell montati e densi dissipatori e connettori… — foto di Pokiiri, CC BY-SA 4.0 — https://commons.wikimedia.org/wiki/File:Nvidia_DGX-B200-HGX.jpg