AMD ryzen AI halo i brzeg sieci
Platforma AMD Ryzen AI Halo mieści do 96GB pamięci graficznej w małym komputerze stacjonarnym. Taki sprzęt pozwala uruchamiać AI w czasie rzeczywistym i gry na jednej maszynie obok użytkownika.
AI w czasie rzeczywistym, streaming gier i interaktywne 3D w sieci potrzebują GPU blisko użytkownika (dlaczego odległość ma znaczenie), a scentralizowane centra danych sprawiają, że to GPU jest drogie (za co płaci godzina GPU). Nowo ogłoszona platforma AMD Ryzen AI Halo Developer Platform pokazuje, jak dużą część tej pracy może dziś udźwignąć pojedyncza maszyna na brzegu sieci.
sprzęt, który usuwa ścianę pamięci
Maszyny na brzegu sieci były ograniczone pamięcią graficzną konsumenckich kart graficznych. Streamowanie gry w wysokiej jakości czy utrzymywanie modelu AI na żywo na jednej maszynie wymaga pamięci tak samo jak surowej szybkości.
Flagowy Ryzen AI Max+ 395 firmy AMD ma 128GB zunifikowanej pamięci, z czego do 96GB można przydzielić jako pamięć graficzną. Dzięki temu jedna mała maszyna może przejąć pracę, która kiedyś wymagała kilku serwerów w chmurze.
co to oznacza na brzegu sieci
YOM prowadzi session edge GPU: GPU obok każdego użytkownika, płatne za sesję. Dziś te GPU to domowe komputery do gier należące do ich hostów oraz szafy telekomunikacyjne blisko użytkowników, a GPU AMD już działały w sieci w proof of concept. Pamięć taka jak w Ryzen AI Halo ma największe znaczenie dla YOM AI, czyli sesji AI na żywo na własnych modelach mowy i języka kupującego, utrzymywanych w jednej sesji blisko mówiącego. Otwarty stos oprogramowania ROCm firmy AMD pasuje też do sieci, która nie powinna zależeć od jednego dostawcy GPU.
wezwanie do innowacji
Dla deweloperów, studiów i operatorów węzłów maszyny takie jak Ryzen AI Halo pokazują, dokąd zmierza sprzęt brzegowy: coraz więcej pracy w czasie rzeczywistym, która dziś działa w centrach danych, może działać na jednej maszynie obok swojego użytkownika. Widzimy tu realną szansę, by budować na sprzęcie AMD.
o YOM
YOM prowadzi session edge GPU: GPU obok każdego użytkownika, płatne za sesję. Domowe komputery do gier należące do ich hostów oraz szafy telekomunikacyjne blisko użytkowników uruchamiają streaming gier (YOM Games oraz Walter na walter.gg dla graczy) i rozmowy AI na żywo (YOM AI). Sesja Standard trwająca do godziny kosztuje US$0.08; godzina gry na zarezerwowanym GPU w centrum danych kosztuje US$1.23. Mediana opóźnienia w jedną stronę, mierzona na żywo w ostatnich 30 dniach: 20 ms dla graczy w promieniu 50 km od węzła, 37.1 ms dla wszystkich sesji (yom.net/source-of-truth).
sieć pod tym wszystkim
praca w czasie rzeczywistym musi odbywać się blisko
Około pięćdziesięciu kilometrów od osoby, która na nią czeka. Sprzęt tak blisko ludzi już istnieje, a większość z niego jest wyłączona.