文章

Cloudflare 把推理账单砍了 68%：缓存复用与模型路由的工程账

#1535 · 2026-10-20 · 21ZHAO Blog
科技财经云原生安全一手源开发者开源
Reading Path / ARTICLE 先抓主张，再转成行动 #1535 · 21ZHAO Blog · 读完进入产品或下一篇

Cloudflare 把推理账单砍了 68%：缓存复用与模型路由的工程账

为什么值得关注

LLM 推理成本失控已成为企业级应用的致命瓶颈。Cloudflare 在代码审查场景中遭遇单次运行成本翻倍，团队拆解 Token 消耗细节后，用提示词缓存（Prompt Caching）与模型路由把账单削减 68%。省钱之外，这件事的分量在于工程化门槛：推理链路优化得越彻底，高并发场景才撑得住。

行业对通用大模型的单点依赖正在松动。深兰科技 DFAgent 提出 JEV System One 决策中枢，替代传统线性工作流，把编剧、导演、剪辑等数十个 Agent 纳入统一调度。AI 工具形态从单点走向全链条基础设施，AI 应用的组织方式随之改变。

三条线各管一段：Cloudflare 管成本侧，深兰 DFAgent 管组织侧，GitHub Copilot 管体验侧。

关键信息

Cloudflare：缓存复用 + 模型路由

Cloudflare 的优化手段集中在两处：

  • 提示词缓存：代码审查请求重复出现时，系统复用已缓存的 KV/前缀计算结果，不重新计算整个 Prompt；具体缓存粒度以 Cloudflare 原文为准。
  • 模型路由：简单查询导向小参数模型，复杂推理才调用大参数模型。

深兰科技 DFAgent：三部分构成 + 四道质检

DFAgent 由三部分构成：JEV System One 决策中枢、DeepBlue Film Model 影视大模型、全球化内容数据飞轮。系统搭建 AI 数字剧组，用数十个 Agent 模拟制片、编剧、导演等岗位。质检设四道关卡：剧情逻辑、美术风格、视频时序、商业潜力。架构把非结构化输入转成可计算的决策流，覆盖从创意到成片的流程。签约《气候战争》为公开信息；PoC 或规模化收入、四道质检的误判率与人工复核成本，公开素材尚未披露。

GitHub Copilot：App 会话迁移至 VS Code

GitHub Copilot 操作指南说明：用户可把 App 会话迁移至 VS Code，迁移保留对话历史、代码变更及工作上下文，开发者在不同终端间切换不丢进度。

21ZHAO 判断

System One 是两类东西，别混用

Cloudflare 参考来源里的 Clairic 是“System One 类提取模型”，深兰 DFAgent 的 JEV System One 是决策中枢。两者同名不同义，本文标题不再使用 System One，正文只保留深兰的 JEV System One 指代决策中枢。

Cloudflare 的 68% 来自两笔账

提示词缓存把重复计算换成缓存读取，模型路由把简单任务从小模型走。企业要复刻这套方案，先量自己的缓存命中率与路由分流比例，再谈模型选型；缓存命中率低于 30% 时优先做提示词结构化，而非换模型。盲目追最大参数规模，账单不会自己降。

DFAgent 的商业验证还没到位

签约《气候战争》是公开信息，但这是 PoC 还是规模化收入、四道质检的误判率与人工复核成本，公开素材尚未披露。影视全链条方案的价值要等这些数字出来才能判断。

多 Agent 调度的隐形成本要提前算

统一中枢带来协调开销，Agent 数量上去后，调度、重试、质检的边际成本可能超过收益。架构复杂度上升是确定的，降本是否成立取决于任务重复度。

可复用建议

  • 缓存键按「租户 ID + system prompt + 工具定义」构造哈希，命中判定以该哈希为准；缓存失效跟随 system prompt 或工具定义变更，若用户输入参与缓存键构造，则输入变化也需触发失效。
  • 路由阈值先设两档：任务复杂度低走小模型，高走大模型；用缓存命中率与单请求 Token 消耗两个指标做周度复盘，再调阈值。
  • 多 Agent 系统给每个子任务设权限白名单与审计日志，子任务在沙箱环境运行并限制网络出站，审计日志留存与告警阈值提前定。
  • 提示词缓存按租户隔离内存池，写入做校验、设 TTL 上限、命中结果签名，避免跨用户缓存复用导致的数据泄露与缓存投毒。

可延展观察

安全侧要盯两件事：多 Agent 协同的权限越界，提示词缓存的内存池隔离。

标准化接口的博弈会继续。跟踪 Cloudflare 与 GitHub 是否公开缓存键规范或路由 API，作为可验证的后续信号；深兰 DFAgent 的影视质检机制能否被其他创意产业采纳，同样待观察。

参考来源