AMD ryzen AI halo e l'edge
La piattaforma Ryzen AI Halo di AMD mette fino a 96GB di memoria grafica in un piccolo computer desktop. Hardware come questo è ciò che permette ad AI in tempo reale e giochi di girare su una sola macchina accanto all'utente.
L’AI in tempo reale, lo streaming di giochi e il 3D interattivo sul web richiedono tutti una GPU vicina all’utente (perché la distanza conta), e i data center centralizzati rendono costosa quella GPU (per che cosa paga un’ora di GPU). La Ryzen AI Halo Developer Platform, appena annunciata da AMD, mostra quanto di quel lavoro possa ora sostenere una singola macchina all’edge.
hardware che abbatte il muro della memoria
Le macchine all’edge sono state limitate dalla memoria grafica delle schede grafiche consumer. Fare streaming di un gioco ad alta fedeltà o tenere un modello AI live su una sola macchina richiede memoria quanto velocità pura.
Il Ryzen AI Max+ 395, il modello di punta di AMD, ha 128GB di memoria unificata, di cui fino a 96GB possono essere allocati come memoria grafica. Così una piccola macchina può svolgere lavori che prima richiedevano più server cloud.
che cosa significa all’edge
YOM gestisce l’edge di sessioni GPU: GPU accanto a ogni utente, pagate a sessione. Oggi quelle GPU sono PC da gaming di proprietà dei loro host, più rack telco vicini agli utenti, e le GPU AMD hanno già girato sulla rete in un proof of concept. Una memoria come quella della Ryzen AI Halo conta soprattutto per YOM AI, sessioni AI live sui modelli di voce e linguaggio propri del compratore, tenute in una sola sessione vicino a chi parla. Anche lo stack software aperto ROCm di AMD si adatta a una rete che non dovrebbe dipendere da un solo fornitore di GPU.
un invito all’innovazione
Per sviluppatori, studi e operatori di nodi, macchine come la Ryzen AI Halo mostrano dove sta andando l’hardware edge: una parte maggiore del lavoro in tempo reale che oggi gira nei data center può girare su una sola macchina accanto all’utente. Vediamo una vera opportunità di costruire sull’hardware di AMD in quel campo.
su YOM
YOM gestisce l’edge di sessioni GPU: GPU accanto a ogni utente, pagate a sessione. I PC da gaming di proprietà dei loro host e i rack telco vicini agli utenti eseguono lo streaming di giochi (YOM Games, e Walter su walter.gg per i giocatori) e conversazioni AI dal vivo (YOM AI). Una sessione Standard fino a un’ora costa US$0.08; un’ora di gioco su una GPU di data center riservata costa US$1.23. Latenza mediana in una direzione, misurata in tempo reale negli ultimi 30 giorni: 20 ms per i giocatori entro 50 km da un nodo, 37.1 ms su tutte le sessioni (yom.net/source-of-truth).
la rete sotto tutto questo
il lavoro in tempo reale deve avvenire nelle vicinanze
A circa cinquanta chilometri dalla persona che lo aspetta. L’hardware così vicino alle persone esiste già, e in gran parte è spento.