原人话语省 token:caveman 如何给 AI 编码智能体减肥 65%
原人话语省 token:caveman 如何给 AI 编码智能体减肥 65%
你的 AI 编码智能体每次回复都像个听讲解的学术家——先背景、再分析、最后总结,一套下来无数 token。而你其实只想知道一句:修好了没。caveman 就是给智能体装了一只”压缩管”,让它用原人话语回复:省流、干练、直达要点。效果:切减 65% token。
token 削减
生态组件
许可证分拆
65% 的压缩率怎么来的?
LLM 的 token 消耗有两块:输入(你的 prompt + 上下文)和输出(智能体写的代码和解释)。caveman 主要攻击的是输出端——它不改你的提示词,而是改智能体的回复风格。推测来看,核心机制是一个中间件(middleware):智能体准备回复时,caveman 在后端把”学术家话语”压缩成”原人话语”,然后再返回给用户。
项目对压缩率的测量很诚实,提供了三种计算方式:
前两种是你自己跑出来的数,后一种需要连上 Caveman Cloud 才能证明。这个区分还是很诚实的——不同数据源的可信度确实不一样。65% 这个数字,如果你用”本地推断”方式验证,可信度有限;如果用”生产流量验证”,那才真正说明问题。
不只是一个工具
caveman 已经膨胀成了一套生态系统:
• caveman(CLI)— 压缩中间件,主工具
• cavemem — 跨会话记忆
• cavekit — spec-driven 构建循环
• caveman-code — 完整 agent
• cavegemma — 压缩烧进权重的 Gemma fine-tune
每个组件都有独立的仓库,但最新的思想都被合并回来了。这种”发展到一定阶段再收敛”的模式在开源项目中比较少见——大多项目要么一盖子写完,要么在敠张的路上拖着。
许可证分拆:一个值得注意的信号
许可证分拆成两半。技能层和 CLI 是 MIT(完全开源);引擎、代理、缓存引擎、改写器等核心运行时组件是 BSL-1.1(source-available,不是 OSI 认证的开源)。每版本在 2030-06-21 或发布 4 年后自动转 Apache-2.0。自家使用免费,给第三方托管需商业许可。推测这是为了防止人白白托管他的服务没有给维护者分一杠红利。
这种”开源+商业”的分拆模式在 2024-2025 年的开源项目中越来越常见。它的好处是维护者有收入来源,坏处是”开源”这个词的含义被稀释了。对于想评估这个项目是否值得采用的团队来说,关键问题是:你的使用场景是否需要 BSL 部分的商业许可?如果只是在本地跑,MIT 部分够用。
适合谁?
最直接的使用场景:你在用 Claude Code / Codex 类编码智能体,明显觉得每月 token 费用太高,但不想换模型。caveman 的安装很轻:一个 npm 包 + CLI,技能层完全本地运行,不需要账号。默认开了匿名用量统计(只发命令名和 token 计数,不发 prompt 和代码),一条命令可关掉。
Takeaway:如果你的 AI 编码智能体月账单里 token 费用占比高,caveman 是目前最轻量的成本优化方案——npm install 就能用,本地运行,不需要换模型。但先验证 65% 这个数字在你的工作负载上是否成立:用”生产流量验证”模式跑一周,看实际节省比例。如果实际只有 30-40%,也值;如果低于 20%,可能你的任务类型不适合压缩。