亚马逊 TorchNeuron 出击:直指英伟达的护城河
亚马逊 TorchNeuron 出击:直指英伟达的护城河
英伟达真正的护城河从来不是芯片,而是 CUDA 和开发者习惯。10 月 19 日,亚马逊发布了 TorchNeuron——一个让 PyTorch 代码几乎不改一行就能跑在自家 Trainium 芯片上的原生后端,并将在 10 月 20 日的 PyTorch 大会上以 Apache 2.0 协议开源。这是亚马逊对英伟达软件生态发起的最直接一次冲击。
“改一行就能换芯片”意味着什么
亚马逊给的数据很扎眼:85% 的 AI 研究和开发者用 PyTorch 写代码。但过去这些代码能跑的硬件却远没有代码本身自由——换一块新芯片,往往意味着把打磨了几个月的工作负载重写、重新验证一遍。TorchNeuron 的做法是接入 PyTorch 官方的硬件扩展机制(PrivateUse1 设备后端和 torch.accelerator API),让 Trainium 把自己注册成一个标准 PyTorch 设备:训练脚本里唯一的改动是 .to('neuron'),写好的模型、库和调试工具全部照旧。
功能覆盖面也没有偷工减料:eager 模式(研究调试用)、torch.compile(生产性能用)、自定义内核接口 NKI 三套路径都支持,覆盖 Trainium2 和 Trainium3;DDP、FSDP2、张量并行、流水线并行等分布式 API 原样可用,集合通信直接走 Trainium 专用的通信核和 EFA 网络。亚马逊还开源了用 NKI 写的高性能算子库,FlashAttention、MoE 块状内核这些主流 LLM 场景的关键件都在里面。连 Meta 的 PyTorch 工程总监都出来站台,称这是”跨硬件一致体验”愿景的延伸。
为什么软件才是芯片战争的胜负手
过去十年,挑战英伟达的芯片一个接一个——谷歌 TPU、英特尔 Gaudi、各类 AI 初创 ASIC——硬件参数一个比一个漂亮,真正抢走份额的却没几个。原因很简单:一个 AI 团队最贵的成本不是芯片价格,而是工程时间。亚马逊自己在公告里也把这一点摊得很明白:对初创公司来说,每周花在适配新硬件上的时间,就是没花在产品上的时间;对拥有庞大 AI 机群的大企业来说,同一套硬件能在推理和训练之间无缝切换,闲置的专用硬件本身就是成本。
这次不同的地方在于,亚马逊不只是发布一个私有 SDK,而是把改动反哺给 PyTorch 上游:删掉框架里绑定特定芯片的代码,让整个社区受益。Hugging Face 已经在自家工具里原生支持 Trainium,vLLM 也有了对应的推理插件。这套打法本质上是”用开放标准稀释 CUDA 的封闭优势”——你不需要说服开发者学新东西,只需要让他们在熟悉的框架里多一个设备选项。早期客户名单横跨实时语音(Cartesia)、精神类药物发现(Lieber 脑发育研究所)、机器人、自动驾驶、世界模型,共同点是都没重写代码就迁到了 Trainium。
芯片生意已经悄悄长成了巨头
值得注意的背景是:亚马逊自研芯片业务的年收入运行率已经突破 250 亿美元——这个数字来自收购 Annapurna Labs 十年后的今天,Graviton、Trainium、Inferentia 四个芯片家族各守一类云负载。换句话说,TorchNeuron 不是实验室项目,而是一个已经养出真金白银的业务在向英伟达的腹地要增量。同一天还有另一则消息互为注脚:Tenstorrent 估值冲到 62 亿美元,主打开放权重 AI 芯片——市场正在给”英伟达之外的选择”重新定价。
当然,Trainium 能不能真正接住 PyTorch 社区,还要看开源后社区贡献的活跃度、看 Trainium3 的实际性价比,也看英伟达的反手——它同样在推开放模型和更激进的开发者策略。推测短期内最直接的受益者是那些被 GPU 价格和供给卡住脖子的 AI 初创:多一个经过大厂海量模型回归测试的选项,谈判桌上就多一分底气。当开发者可以无代价地换芯片,芯片厂商就必须重新赢得他们——这句话亚马逊写在公告里,也是整场发布会真正的靶心。
核心观点:判断一家 AI 芯片公司有没有戏,别看 TFLOPS,看它能不能让开发者”不改代码就换引擎”。TorchNeuron 开源后的社区采纳速度,会是比任何发布会参数都诚实的信号。如果你的团队在 AWS 上跑训练,值得拿一个非关键任务试一次 .to(‘neuron’),成本是一次配置改动。
— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn