Una workstation desktop con NVIDIA GB10 Grace Blackwell carica in memoria coerente CPU-GPU 128 GB di pesi, abbastanza per far girare modelli da 70-200 miliardi di parametri quantizzati senza che un solo byte di dato clinico esca dall’edificio. Per i carichi sanitari il tetto operativo non è la capacità: è la banda di memoria, fissata a 273 GB/s sulla LPDDR5x del modulo (NVIDIA DGX Spark Hardware Overview).

Contesto

I dati sulla salute sono una categoria particolare ai sensi dell’articolo 9 del GDPR: il trattamento è vietato salvo precise basi giuridiche, e mandare referti, anamnesi o immagini a un endpoint di inferenza in un cloud extra-UE apre una superficie di rischio che molte strutture preferiscono evitare del tutto. Finché l’inferenza LLM ha richiesto GPU da data-center (80 GB di VRAM per scheda, costi mensili a quattro cifre, raffreddamento dedicato), per un ospedale o uno studio diagnostico l’alternativa locale voleva dire una sala server. Il segmento di hardware che cambia questi conti è arrivato a inizio 2026.

NVIDIA GB10 Grace Blackwell mette in un singolo package una CPU Arm a 20 core (10 Cortex-X925 più 10 Cortex-A725) e una GPU Blackwell con 6.144 CUDA core, che condividono 128 GB di LPDDR5x come memoria di sistema unificata e coerente (NVIDIA DGX Spark). La potenza nominale è 1 petaFLOP in FP4. Il chassis misura 150x150x50,5 mm, l’alimentatore è da 240 W e il TDP del SoC si ferma a 140 W. Sul mercato ci sono due macchine costruite su questo Superchip: la DGX Spark di NVIDIA e la ThinkStation PGX di Lenovo.

Architettura

Per la sanità il punto decisivo è il modello di memoria. CPU e GPU non hanno spazi di indirizzamento separati con una VRAM dedicata da riempire via PCIe: lavorano sullo stesso pool fisico di 128 GB, con coerenza gestita in hardware. In pratica un modello da 120B parametri quantizzato a 4 bit (~60 GB di pesi) ci sta in memoria insieme alla KV-cache di un contesto lungo, senza quel partizionamento che su una GPU discreta consumer da 24 GB renderebbe lo stesso modello del tutto non caricabile.

Lo schema — CPU Arm, GPU e DRAM coerente unificata su un unico modulo, senza gerarchia tra RAM di sistema e VRAM — non è una novità nel segmento workstation. Apple Silicon lo aveva portato sul desktop con M1 il 10 novembre 2020, e le configurazioni M2/M3 Max e Ultra con 128-192 GB di memoria unificata erano già piattaforme valide per l’inferenza locale di modelli medi, attraverso il backend Metal di llama.cpp o il device mps di PyTorch. Sul GB10 cambia lo stack: CUDA al posto di Metal, quindi compatibilità binaria con i DGX di classe superiore e con l’ecosistema di librerie cresciuto attorno a CUDA in quindici anni.

Per i carichi medici concreti vuol dire che i modelli aperti specializzati girano in locale senza riscrivere niente. BioMistral-7B — Mistral 7B con pre-training continuo su PubMed Central Open Access (BioMistral, ACL 2024) — e Meditron-7B/70B — Llama-2 adattato al dominio medico su corpora curati di linee guida e letteratura (Meditron, EPFL) — sono pesi pubblici su Hugging Face, eseguibili con Ollama, vLLM o llama.cpp sullo stesso runtime CUDA della macchina.

Il punto critico

Davanti ai 128 GB il primo pensiero va alla capacità: quanto è grande il modello che ci entra. Ma per l’inferenza generativa la latenza percepita la governa un’altra metrica. Ogni token generato in modo autoregressivo obbliga a rileggere dalla memoria l’intero set di pesi attivi. Il tetto del throughput in token al secondo è quindi la banda di memoria divisa per la dimensione dei pesi letti a ogni token.

Con 273 GB/s e un modello da 60 GB di pesi attivi, il tetto teorico è di circa 4-5 token/s prima dell’overhead — buono per il riassunto di referti, l’estrazione strutturata da testo libero, la classificazione di codici diagnostici, ma lento da percepire in una conversazione. Una H100 di data-center supera i 3 TB/s, circa un ordine di grandezza in più. Il GB10 privilegia la capacità sulla banda: in un desktop da 140 W la scelta è coerente, ma va misurata sul carico reale.

Le contromisure stanno nella scelta del modello e nella forma del carico:

  • Modelli più piccoli e specializzati (un Meditron-7B o BioMistral-7B a ~4 GB quantizzati) producono decine di token/s, abbastanza per l’assistenza interattiva, e su molti compiti clinici delimitati battono in costo-efficacia un generalista da 120B
  • Modelli Mixture-of-Experts, dove per ogni token è attiva solo una frazione dei parametri totali, raddrizzano il rapporto tra capacità e banda: il modello occupa la memoria, ma a ogni token se ne legge molto meno
  • Carichi batch e asincroni (refertazione notturna, indicizzazione di archivi, pre-elaborazione RAG) tollerano la latenza per token e sfruttano la capacità senza pagare la banda

Implicazioni

Per una struttura sanitaria i conti cambiano. Una macchina da circa 3.000-4.000 euro che sta sotto una scrivania, consuma quanto un PC desktop e non chiede né rack né condizionamento, regge fine-tuning e inferenza di modelli medici aperti con i dati che restano dentro il perimetro. La base giuridica del trattamento ex articolo 9 GDPR si semplifica quando non c’è trasferimento a un responsabile esterno: niente accordi di data processing con un fornitore cloud, niente valutazione di adeguatezza per trasferimenti extra-UE, telemetria controllabile a livello di sistema operativo.

La compatibilità binaria con i DGX di classe superiore apre un percorso di scala senza riscrivere lo stack: un pilota su una singola workstation può migrare verso un’infrastruttura più ampia mantenendo CUDA, gli stessi runtime e gli stessi pesi. Per chi vuole valutare l’AI on-premise prima di impegnare budget sull’infrastruttura, è un punto d’ingresso a costo misurabile.

Limiti

I 273 GB/s sono il primo vincolo da dimensionare: un generalista molto grande ci sta in memoria ma genera lentamente, e per un assistente conversazionale in tempo reale tocca scendere di scala o passare a un’architettura MoE. Il petaFLOP nominale è in FP4: la precisione davvero utile per la refertazione clinica va validata sul compito, perché la quantizzazione aggressiva degrada in modo non uniforme e i compiti medici hanno una tolleranza all’errore bassa.

Il GB10 abilita inferenza e fine-tuning leggero, non il training da zero di modelli di frontiera — quello resta sui DGX di classe superiore. E l’hardware locale non sostituisce la governance: un modello che gira dentro l’ospedale resta un sistema che produce output clinici, da tracciare, valutare e tenere sotto policy come qualunque altro componente del trattamento dei dati.

Immagine di copertina: Vista obliqua della workstation desktop NVIDIA DGX Spark: piccolo cubo con finitura dorata a maglia metallica forata su un piano chiaro — foto di Daniel Lu, CC BY-SA 4.0 — https://commons.wikimedia.org/wiki/File:Nvidia_DGX_Spark_oblique_view_dllu.jpg