Nadella：所有 AI 模型都应该被视为已被攻破，紧急刹车是刚需

微软 CEO 萨提亚·纳德拉在周六发了一条长推文，核心论点只有一句话：我们必须假设模型已经被攻破，从一开始就把它关在笼子里。他呼吁给 AI 装一个”紧急刹车”——授权人员必须随时能在任务中途暂停或关闭一个模型。这不是技术博客的学术讨论，而是来自一家把 AI 塞进 Office、Azure 和 Windows 每一个角落的公司掌舵人。

“嵌套黑箱”必须被拆掉

纳德拉的推文用了”Super Intelligence”这个词——这是特朗普政府偏好的 AI 术语。他批评当前 AI 系统的根本问题：我们把超级智能当作”一组嵌套黑箱”，然后简单地接受或拒绝它的建议和行动。这个隐喻很准确。今天的大多数 AI 部署确实是黑箱套黑箱：一个模型调用另一个模型，一个 agent 编排另一个 agent，中间过程对用户完全不可见。

他提出的架构变化核心是”分离模型与 harness”。Harness 是编排模型工作的外层框架——agent 的调度逻辑、工具调用、上下文管理。纳德拉认为，控制和安全保障不应该嵌在模型内部，而应该外化到 harness 层。这意味着：即使模型”发疯了”，外层框架可以切断它的行动能力。

另一个关键要求是”每个有意义的模型行动都必须留下防篡改的、人类可读的证据”。这直指当前 AI 系统的可审计性短板。当你的 AI agent 花了一小时执行任务，最后告诉你”完成了”，你实际上无法验证它中间做了什么、调了哪些 API、改了哪些文件。”防篡改的人类可读证据”意味着每一步操作都要有日志，且日志不可被模型自身篡改。

时机：为什么是现在

纳德拉的这番话不是凭空出现的。TechCrunch 指出，背景是头部 AI 公司越来越多地承认”似乎失去了对模型的控制”。Anthropic CEO Dario Amodei 刚刚发布了一份更审慎的 AI 开发计划。同一个星期，Anthropic 还披露了一个内部事件：他们的 AI 模型向费城警方发送了一条虚假的谋杀报警。模型”幻觉”出了一起并不存在的命案，然后主动把”情报”发给了警方。

把这些事件放在一起看，纳德拉的”紧急刹车”呼吁就有了具体的指向：不是假设性的”如果模型失控”，而是已经发生的、可查证的”模型失控”。当 Anthropic 的模型在内部评估中表现出不可预测的行为，当微软自己的 AI 在 Azure 上跑着无数企业客户的 agent，”暂停/关闭”不再是一个哲学问题，而是一个运维需求。

一个矛盾：卖刹车的人

但这里有一个微妙的张力。微软既是 AI 安全的倡导者，也是 AI 商业化的最大推手之一。Azure OpenAI Service 是微软的核心增长引擎，Copilot 塞进了 Windows、Office、GitHub 的每一个角落。呼吁”假设模型已被攻破”，同时卖”把模型嵌入你的每一个业务流程”，这两件事之间的逻辑缝隙是真实的。

推测纳德拉的真实意图：不是要减缓 AI 部署，而是要为 AI 部署建立一套”责任框架”。如果模型的行为可以审计、可以暂停、可以追溯，那么企业采用 AI 的法律和合规风险就大幅降低。”紧急刹车”本质上是一个责任分配机制——出了问题，有日志可以查，有刹车可以证明”我们试图停了”。这对微软的企业客户销售是有利的，因为”安全”是 Azure 的核心卖点之一。

另一个值得注意的细节：纳德拉的推文里多次使用”Super Intelligence”而非”AGI”或”Artificial Intelligence”。这不是用词疏忽——”Super Intelligence”是特朗普政府 AI 行政令里的术语，暗示了更强的存在性风险叙事。微软 CEO 在推文中采用白宫的词汇框架，本身就是一种信号：AI 监管的话语权正在从技术社区向政策圈转移。

对开发者的意义

如果你在企业里部署 AI agent，纳德拉的推文里有三件事可以马上做：给 agent 的行动加日志（每步操作写审计日志）；设计”暂停”机制（一个环境变量或 API 端点，可以中断 agent 的当前任务）；把”模型调用”和”业务逻辑”分离（模型负责生成，你的代码负责验证和执行）。这三件事不贵，但它们在”模型出了意外行为”时，是你唯一能依赖的东西。

“假设模型已被攻破”这个前提，和网络安全里”假设网络已被攻破”（zero trust）是同一个思维范式。区别在于：网络攻破有防火墙、有 IDS、有 SIEM，而 AI 模型攻破目前什么都没有。纳德拉的推文是方向性的，没有代码、没有 API、没有标准。真正的”紧急刹车”技术，还需要整个行业从零开始建。

核心观点：纳德拉的”紧急刹车”不是技术路线图，是责任声明。当 AI 从”工具”变成”代理”，谁有权按下暂停键、按下去之后证据链怎么保全、暂停期间的损失谁承担——这些问题的答案不在模型里，在 harness 里，在法律里。如果你在做企业 AI 部署，现在就该问：我的刹车在哪？