AMD ryzen AI halo dan edge
Platform Ryzen AI Halo dari AMD menaruh hingga 96GB memori grafis di sebuah mesin desktop kecil. Perangkat keras seperti ini yang memungkinkan AI real-time dan game berjalan pada satu mesin di samping pengguna.
AI real-time, streaming game, dan 3D interaktif di web semuanya membutuhkan GPU di dekat pengguna (mengapa jarak penting), dan data center terpusat membuat GPU itu mahal (apa yang dibayar oleh satu jam GPU). Ryzen AI Halo Developer Platform yang baru diumumkan AMD menunjukkan seberapa banyak pekerjaan itu yang kini dapat ditanggung satu mesin di edge.
perangkat keras yang menghilangkan tembok memori
Mesin di edge selama ini dibatasi oleh memori grafis pada kartu grafis konsumen. Men-stream game berfidelitas tinggi atau menjalankan model AI langsung pada satu mesin membutuhkan memori sama banyaknya dengan kecepatan mentah.
Ryzen AI Max+ 395 andalan AMD memiliki memori terpadu 128GB, yang hingga 96GB di antaranya dapat dialokasikan sebagai memori grafis. Itu memungkinkan satu mesin kecil menangani pekerjaan yang dulu membutuhkan beberapa server cloud.
apa artinya di edge
YOM menjalankan session edge GPU: GPU di samping setiap pengguna, dibayar per sesi. Saat ini GPU itu adalah PC gaming milik para host, ditambah rak telco di dekat pengguna, dan GPU AMD sudah pernah berjalan di jaringan dalam bukti konsep. Memori seperti milik Ryzen AI Halo paling penting bagi YOM AI, sesi AI langsung pada model ucapan dan bahasa milik pembeli sendiri, yang ditahan dalam satu sesi di dekat pembicara. Stack perangkat lunak ROCm yang terbuka dari AMD juga cocok dengan jaringan yang sebaiknya tidak bergantung pada satu pemasok GPU.
ajakan untuk berinovasi
Bagi pengembang, studio, dan operator node, mesin seperti Ryzen AI Halo menunjukkan arah perangkat keras edge: semakin banyak pekerjaan real-time yang kini berjalan di data center dapat berjalan pada satu mesin di samping penggunanya. Kami melihat peluang nyata untuk membangun di atas perangkat keras AMD di sana.
tentang YOM
YOM menjalankan session edge GPU: GPU di samping setiap pengguna, dibayar per sesi. PC gaming milik para host, dan rak telco di dekat pengguna, menjalankan streaming game (YOM Games, dan Walter di walter.gg untuk pemain) serta percakapan AI langsung (YOM AI). Satu sesi Standard hingga satu jam berbiaya US$0.08; satu jam bermain pada GPU data center yang direservasi berbiaya US$1.23. Latensi satu arah median, diukur langsung selama 30 hari terakhir: 20 ms untuk pemain dalam jarak 50 km dari node, 37.1 ms di semua sesi (yom.net/source-of-truth).
jaringan di balik semua ini
pekerjaan real-time harus terjadi di dekat pengguna
Sekitar lima puluh kilometer dari orang yang menunggunya. Perangkat keras sedekat itu dengan orang sudah ada, dan sebagian besar sedang mati.