Skip to content

08 高可用平台 → Agent 韧性:故障域、降级链与多活 ​

系列:云基础设施 → Agent 执行层:能力迁移 · 第 8 篇 定位:可靠性域(03 状态篇的恢复视角 + 07 编排篇的降级视角的收官) 前置阅读:总纲 · 03 状态外置 · 07 任务编排

迁移核心问题:故障域、优雅降级、多活容灾——云基础设施的高可用三板斧在 Agent 平台全部适用;但可用性的最大威胁方变了:不再是自己的 Infra,而是上游的模型服务。可用性预算的对象,第一次跑到了平台边界之外。

摘要 ​

高可用(HA)工程十年的核心产出是三个可迁移资产:故障域设计(爆炸半径控制)、优雅降级体系(限流/熔断/降级链)、多活容灾(单元化、RTO/RPO 语义)。Agent 平台需要全部三样,且有一处根本性反转:传统平台的可用性威胁 90% 来自自身组件,Agent 平台的头号威胁是上游 LLM 服务——一个你不可控、不可修、SLA 透明的第三方依赖。本篇给出三资产到 Agent 场景的迁移改造,并把"降级"从被动响应升格为平台的一等能力产品。

1. 当年的机制:高可用的三板斧 ​

以支撑 10W+ 企业客户的云上安全平台为例(多可用区部署、异地容灾),HA 工程的产出可以压缩为三句话:坏是必然的,坏多大是设计出来的;慢是必然的,慢成什么样是分级出来的;断是必然的,断了丢多少、多久回来是承诺出来的。

1.1 故障域:爆炸半径控制 ​

  • 单点消除:无状态层任意副本可替换;有状态层用副本集/仲裁机制保证多数派存活;
  • 故障域切分:按可用区(AZ)切第一层,按部署单元(set)切第二层——一个单元的数据库、缓存、消息链路自成闭环,跨单元只共享元数据;
  • 依赖分级:强依赖(挂了服务不可用)与弱依赖(挂了降级可用)在设计期明确标注——双 11 大促前最重要的评审就是强依赖清单瘦身。

1.2 优雅降级:分级响应 ​

  • 限流:入口闸门保护核心容量(08 年代的秒级令牌桶);
  • 熔断:对弱依赖故障快速失败,防止线程池/连接池被拖死(故障传导的物理载体是资源池);
  • 降级链:核心功能有预先演练过的降级路径——读库降级到缓存快照、实时计算降级到离线结果、完整校验降级到抽样校验。降级不是临场发挥,是预先编写的功能开关序列。

1.3 多活容灾:RTO/RPO 的纪律 ​

  • 单元化:流量按用户维度哈希进单元,单元间不共享计算与状态,故障时整单元切换;
  • RTO/RPO 承诺:恢复时间目标与数据丢失窗口是写在 SLA 里的数字,由异步复制间隔、切换预案、DNS 收口速度倒推出来;
  • 常态化演练:预案不是文档,是定时任务——每月真切的流量切换。

2. Agent 时代:威胁模型的反转 ​

2.1 头号故障源跑到了平台边界之外 ​

传统 HA 的威胁清单:网络抖动、机器故障、发布引入 bug、依赖的中间件故障——除最后一项外全部在自身可控范围。Agent 平台的故障谱完全不同:

故障源传统平台Agent 平台可控性变化
上游模型服务无此依赖头号故障源:限流、超载、区域性降智、长尾 30s+从可控变为完全不可控
自身 Infra主要故障源次要故障源(K8s/沙箱/存储的成熟度反而更高)可控
下游工具(MCP)内部 RPC,可控第三方工具池:野生 MCP 的可用性参差下降
非确定性输出无此概念模型"没坏但变笨":静默质量劣化全新类别

推论:Agent 平台的可用性工程,主战场从"让我的服务不挂"变为"在上游必然抖动的世界里让会话不死"。

2.2 可用性的计量单位变了:从请求到会话 ​

传统 HA 承诺的是请求级可用性(5xx 率、成功率);Agent 平台的对象是会话——一个运行 40 分钟的 Deep Research 任务,在第 35 分钟的节点故障里意味着什么?会话级可用性由 03 篇的 Checkpoint 决定:

  • 会话 RTO = 检测时间 + 重调度时间(02 篇快照/预热池)+ Checkpoint 加载时间;
  • 会话 RPO = 两次 Checkpoint 之间的进度——丢失的是"重算到上个断点",而不是丢整个会话;
  • 关键纪律:Checkpoint 间隔是 Agent 平台的"异步复制间隔"——间隔越长吞吐越好、RPO 越差,这是 03 篇"逻辑断点"设计的可用性投影。

2.3 故障的形态多了一种:静默劣化 ​

机器故障是二值的(活着/死了),LLM 故障是连续的(限流是软失败、降智是软成功)。传统探活(health check)对"模型返回 200 但答案开始胡说"完全失明。这要求平台新增质量探针(golden set 定期评测、输出分布监控——主系列第 18 篇的评测体系在此承担"健康检查"职责)。

3. 迁移改造:三资产逐项落地 ​

3.1 故障域 → 会话爆炸半径 ​

  • 会话是天然的故障域切分单位:一个沙箱/一个 Runtime worker 挂掉,影响的只是其上承载的会话集合——前提是 07 篇的三层分离到位(Harness 无状态,才能在 Runtime 全灭时把任务重派到幸存分区);
  • 配额池按故障域分片:07 篇的配额调度器如果是全局单点,它就是最大的爆炸半径——按 provider × region 分片配额,一个供应商限流只削掉一个分片的吞吐;
  • 强依赖清单重排:LLM 路由层是唯一的强依赖(且必须做成可切换的多供应商),记忆/向量库降为弱依赖(只读模式 + 06 篇短 TTL 凭据缓存),第三方 MCP 工具全部是弱依赖(工具降级矩阵见 3.2)。

3.2 优雅降级 → 降级金字塔 ​

旧答案的降级是"功能开关序列";Agent 的降级是一个金字塔,每层损失多少能力、省下多少配额/容量预先标定:

L4 完整能力:强模型 + 全工具 + 长期记忆 + 满并行度
L3 模型降档:强模型 → 弱模型(07 篇降级链),深度换吞吐
L2 工具降档:非关键工具摘除,工具结果缓存兜底
L1 记忆降档:长期记忆只读(停写入保审计),上下文窗口截断老内容
L0 骨架模式:停止新任务,存量会话只做"优雅收尾"(总结 + Checkpoint + 通知),绝不硬中断

两个迁移要点:

  1. 熔断对象从服务改为模型端点:同一供应商的"限流中"和"超载慢"要用不同熔断策略(前者立即 failover,后者半开探测)——熔断器的状态机照搬,但分组粒度必须是 provider × model × region;
  2. L0 骨架模式是 Agent 特有的新层:传统服务挂了就挂了(用户重试);Agent 的长任务硬中断意味着几十分钟工作归零且用户不知情——"会话的善终"本身就是可用性的一部分,这是 03 篇"终态门禁"在故障场景下的延伸。

3.3 多活 → 双层多活 ​

Agent 平台需要两层叠加的多活设计,这是对旧答案最有意思的扩展:

  • 执行层多活(平台自己的事):Runtime/沙箱集群按单元化切分,会话哈希进单元,与 01 篇的分区亲和同构——切换单元 = 切换分区路由 + 恢复 Checkpoint,RTO 分钟级;
  • 依赖层多活(对付上游的事):LLM 路由层维护多供应商等价面——同一任务在主备供应商的 prompt 兼容层、token 计量换算、结果质量基线(08 年代的 golden set 又出现了)都要预先建好。failover 不是把 URL 换了,是把整个评测与计量上下文换过去。

一个诚实的边界:跨供应商 failover 的语义损失(不同模型的风格/能力差异)无法完全抹平——对外承诺"会话不死",不承诺"答案完全一致"。SLA 的措辞本身就是架构决策。

3.4 混沌工程 → LLM 混沌 ​

故障注入清单从"杀 Pod、断网、磁盘满"扩展到模型时代的专用科目:

注入项模拟场景验证目标
注入 30s+ 延迟模型过载重试预算与超时哲学(07 篇)、用户可感知层
注入 429 限流供应商限流failover 速度、配额分片收敛
注入"降智"响应静默质量劣化质量探针的灵敏度(多快发现"答案不对劲")
杀 Runtime + 断 Checkpoint 存储双重故障会话善终路径(L0 模式)真的能走通
工具随机超时野生 MCP 不可用工具降级矩阵、汇合点超时策略(07 篇)

最后一行是关键升级:混沌实验的对象从组件变为"组件 + 决策质量"——你不仅要知道平台没挂,还要知道降级后的 Agent 没有做出离谱的决策(安全兜底:降级模式下的工具权限自动收紧,连接 06 篇"权限随可用性衰减")。

4. 一个新论点:降级是产品,不是事故处理 ​

传统平台把降级视为运维手段(用户无感知最好);Agent 平台应该把降级做成一等能力产品:

  • 对外可见:会话降档时明确告知"当前以精简模式运行"——静默降智比明确降级更伤信任(这同时是安全要求:静默降智是 prompt 注入之外的另一类"不可信输出"来源);
  • 可被用户/租户选择:批处理租户默认接受 L3 降档换成本,金融租户永不降档但支付保留容量(01 篇 QoS 与可用性在此汇合——QoS 等级本质上是可用性合同);
  • 可审计:每次降级事件进事件溯源日志(03 篇),回答"这个决策是在降级模式下做出的吗"——监管与取证都会问这个问题。

这把 HA 从"背面的运维纪律"翻转为"正面的产品能力",也是传统 HA 工程师在 Agent 平台最容易被低估的价值增量——懂降级路径的人,才设计得出可信的降级产品。

5. 迁移清单 ​

  1. 故障域是否以会话为单位切分,Harness 无状态保证 Runtime 全灭可重派(07 篇三层分离是前提)?
  2. 强依赖清单里是否只剩"LLM 路由层"一项,且它是多供应商可切换的?
  3. 会话 RTO/RPO 是否有明确数字(RTO = 检测+重调度+Checkpoint 加载;RPO = Checkpoint 间隔)?
  4. 降级金字塔 L4→L0 是否预先标定,L0"会话善终"路径是否真实演练过?
  5. 熔断分组是否细到 provider × model × region,限流与过载是否区别对待?
  6. 是否存在质量探针(golden set 评测),静默降智的发现延迟是多少分钟?
  7. 执行层多活与依赖层多活是否分开设计,failover 的语义损失是否写进了对外 SLA 措辞?
  8. 降级是否产品化(可见、可选、可审计),降级模式下的工具权限是否自动收紧(连接 06 篇)?
  9. 混沌清单是否覆盖 LLM 专用科目(延迟/限流/降智/双故障/工具超时)?

6. 结语:韧性是执行层各域的统考 ​

高可用是本系列的收官篇,因为它天然是前面所有篇目的统考:故障域切分考三层分离(07),会话复活考 Checkpoint(03),快速重派考预热池(02),降级收权考身份治理(06),多活切换单元考调度亲和(01)。云基础设施把"坏是必然的"变成了设计公理,Agent 平台要继承的不是那份公理,而是公理之下的全部纪律——再加上一句新的:上游比你自己更容易坏,你的韧性一半是为别人的不可靠买单。


系列:总纲 | 01 K8s 资源模型 | 02 FaaS 冷启动 | 03 状态外置 | 04 多租户隔离 | 05 东西向治理 | 06 身份治理与鉴权 | 07 任务编排 | 08 高可用与韧性

姊妹系列:生产级 Agent 平台架构 2026