AMD 的 ryzen AI halo 与边缘
AMD 的 Ryzen AI Halo 平台把最多 96GB 的图形内存放进一台小型台式机。有了这样的硬件,实时 AI 和游戏就能在用户身边的一台机器上运行。
实时 AI、游戏串流和网页上的交互式 3D 都需要靠近用户的 GPU(为什么距离很重要),而中心化数据中心让这块 GPU 变得昂贵(一个 GPU 小时的钱花在了哪里)。AMD 新近发布的 Ryzen AI Halo 开发者平台表明,边缘上的一台机器如今能承载其中多大一部分工作。
消除内存之墙的硬件
边缘的机器一直受限于消费级显卡的图形内存。串流高保真游戏,或在一台机器上承载一个实时 AI 模型,既需要原始速度,也需要内存。
AMD 旗舰的 Ryzen AI Max+ 395 拥有 128GB 统一内存,其中最多 96GB 可以分配为图形内存。这让一台小机器能够承担过去需要几台云服务器才能完成的工作。
这在边缘意味着什么
YOM 运营 GPU 会话边缘:GPU 紧挨着每位用户,按会话付费。如今这些 GPU 是归各自宿主所有的游戏 PC,加上靠近用户的电信机架,而 AMD GPU 已经在一次概念验证中在网络上运行过。像 Ryzen AI Halo 这样的内存,对 YOM AI 最为重要:YOM AI 是基于买家自己的语音和语言模型的实时 AI 会话,在说话者附近的一场会话中承载。AMD 开放的 ROCm 软件栈,也适合一个不应依赖单一 GPU 供应商的网络。
呼唤创新
对开发者、工作室和节点运营者来说,像 Ryzen AI Halo 这样的机器展示了边缘硬件的走向:今天在数据中心运行的实时工作,会有更多可以在用户身边的一台机器上运行。我们认为在这方面基于 AMD 的硬件进行构建,是一个真实的机会。
关于 YOM
YOM 运营 GPU 会话边缘:在每位用户身边提供 GPU,按会话付费。归各自宿主所有的游戏 PC,以及靠近用户的电信机架,运行游戏串流(YOM Games,以及面向玩家的 walter.gg 上的 Walter)和实时 AI 对话(YOM AI)。一场最长一小时的 Standard 会话费用为 US$0.08;在预留的数据中心 GPU 上玩一小时,费用为 US$1.23。过去 30 天实时测得的单向延迟中位数:距节点 50 km 以内的玩家为 20 ms,全部会话为 37.1 ms(yom.net/source-of-truth)。