AirLLM：32.1k 星，单张 4GB 显卡跑 70B 大模型

AirLLM 声称在单张 4GB 显存的 GPU 上就能跑 70B 参数的大语言模型，不需要量化、不需要蒸馏、不需要剪枝。32,136 个 GitHub star 和单日 1,004 星的增长说明社区对这个声明的兴趣远超一般的”又一个 LLM 推理框架”。核心方法是把 70B 模型的权重拆成 13 个专家（Expert）分片，每个分片独立部署在 4GB 的 GPU 上，通过 40 核 CPU 做路由调度。

技术原理：专家并行，不是量化

大多数”低显存跑大模型”的方案走的是量化路线：把 FP16 权重压到 INT8/INT4，减少显存占用。AirLLM 走的是完全不同的路——它不动权重精度，而是把模型拆成 13 个独立的专家（Expert），每个专家大约 5B 参数（5B × FP16 ≈ 10GB，但 AirLLM 的 4GB 限制意味着实际每个专家的部署方式更激进）。

推理时，CPU 上的路由器根据输入 token 决定激活哪些专家，然后把请求分发到对应的 GPU 节点。每个 GPU 只持有自己那个专家的权重，不需要加载整个 70B 模型。这种架构本质上是 MoE（Mixture of Experts）的硬件部署策略，只不过 AirLLM 用的是”物理拆分”而不是”逻辑拆分”。

这种方案的优势是权重精度不损失——FP16 的推理质量远高于 INT4 量化。劣势是推理速度受限于 CPU-GPU 之间的通信带宽：每个 token 都需要 CPU 路由器做决策，然后把请求传到对应的 GPU 节点。对于低延迟场景（如实时对话），这个通信开销可能是瓶颈。

实际应用场景

AirLLM 的目标场景不是替代 H100 集群跑 GPT-4 级别的服务，而是让边缘设备和小团队也能跑 70B 级别的模型。具体的用例包括：本地开发环境（开发者在自己的工作站上跑 70B 模型做代码补全，不需要 API 费用）、隐私敏感场景（医疗、法律、金融等数据不能上云的场景）、离线环境（船舶、飞机、偏远地区的本地推理）。

4GB 显存的 GPU 是非常常见的配置——RTX 2060、GTX 1660 Super、甚至集成的 Radeon 核显都能达到。这意味着 AirLLM 的硬件门槛极低，一台 2019 年的二手游戏 PC 就能跑 70B 模型。当然，推理速度不会是 70 tokens/s 的水平，但对于”能用”和”不能用”来说，这是一个质变。

需要注意的是，AirLLM 的”70B 在 4GB GPU 上运行”这个说法需要理解上下文：它不是说 70B 模型整体只占 4GB，而是说每个专家分片占用 4GB，13 个专家分布在 13 个 GPU 节点上（或者时分复用在同一块 GPU 上）。如果是 13 块 4GB GPU，总显存 52GB，这其实和一块 A100 40GB 的显存量级差不多。所以更准确的说法是：AirLLM 让 70B 模型可以在”多块低端 GPU”上运行，而不需要”一块高端 GPU”。

核心观点：AirLLM 的真正价值不是”4GB 跑 70B”这个标题党说法，而是证明了大模型推理的硬件需求可以被架构设计来调节。当”一块 A100″不再是唯一选择，”13 块 RTX 2060″成为可行方案时，大模型推理的民主化才真正开始。