Colibri：纯 C 跑 744B MoE

当全球开发者在 Python 运行时和 GPU 集群中挣扎时，JustVugg/colibri 以极致的轻量化设计，证明了纯 C 语言也能承载 744B-2.8T 参数 MoE 模型的推理需求。

项目背景与技术突破

在 AI 推理成本飙升的今天，传统框架依赖 Python 运行时、BLAS 库和复杂依赖链，成为部署的瓶颈。Colibri 应运而生——一个纯 C 语言实现的零依赖推理引擎，将 VRAM、RAM 和磁盘存储视为统一的多层级内存体系。

**核心创新**：专家从磁盘流式加载，仅活跃专家驻留内存。

官方项目创建于 2026 年 7 月 1 日，至今仅用单文件 c/colibri.c 配合小头文件实现全部核心功能，无 Python 运行时、无 BLAS 库、无外部依赖。这种设计让它在资源受限环境中展现出惊人效率。

实测性能数据亮眼

6×RTX 5090 系统的实测结果令人印象深刻。在 96 token 贪心解码模式下，当所有专家驻留于 VRAM+RAM 时，Colibri 达到 6.28-6.84 tok/s 的速度。

相比之下，同配置下的 vLLM-Moet 仅能维持 2.3-2.7 tok/s。性能差距的根源在于 Colibri 无需整步重放机制，而这是 MoE 推理中的关键开销。

**性能对比**：全驻留模式下，Colibri 速度是 vLLM-Moet 的 2.8 倍。

在更现实的场景中，专家从磁盘流式加载时速度降至 0.12 tok/s，这表明 磁盘读取是主要瓶颈，而非计算能力。

多平台部署能力

Colibri 的 Benchmark 测试覆盖了从高端桌面到笔记本设备的广泛场景：

• 128GB CPU 单桌面：约 1.8 tok/s（暖启动）
• 单 RTX 5070Ti 笔记本：1.07 tok/s（GPU 驻留路径）
• 25GB 开发机：0.05-0.1 tok/s（冷启动基准）

这些测试证明 Colibri 能够在资源受限的笔记本设备上实现有效的 MoE 推理。

支持模型生态

项目官网已上线 8 种主流模型族的支持：

• GLM-5.2/5.3
• Inkling
• Kimi K3（2.8T 参数）
• DeepSeek V4
• Qwen3.6/3.8
• OLMoE

每个模型对应一个独立的 C 文件，共用 coli chat/serve/web 前端。项目还提供了专家路由 Atlas 可视化，展示了 13,260 个已表征专家的聚类分布。

性能优化与限制

社区在 2026 年 7 月持续优化 Colibri。v1.6.0 修复了 v1.5.0 的性能回退问题（#856），DeepSeek V4 的预填充 I/O 通过专家主预填充减少重复读取（#941）。

**关键限制**：磁盘读取是性能瓶颈，双 SSD 流式读取可提升带宽。

总结

Colibri 以纯 C 语言的极致轻量化，重新定义了 AI 推理的部署边界。它证明了在资源受限环境中，MoE 模型的推理同样可行。尽管磁盘读取仍是性能瓶颈，但对于边缘设备部署，这种设计提供了传统框架无法企及的效率。

项目地址：https://github.com/JustVugg/colibri

— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn