Skip to content

高可用 Agent 平台:故障域、降级与容灾 ​

系列:生产级 Agent 平台架构 2026 · 第 17 篇
定位:规模与可靠性篇
版本:闭环修订版
前置阅读:第 0 篇《从模型推理到生产运行:2026 年 Agent、Harness 与 Runtime 总体架构》 · 第 4 篇《Agent Runtime:从生命周期到执行治理的完整能力模型》 · 第 6 篇《持久执行、Checkpoint 与副作用对账》
关键词:故障域、依赖故障矩阵、降级阶梯、Cell、多可用区、混沌演练、SLO

摘要 ​

Agent 平台的高可用不是“多部署几个副本”就能回答的问题。一个 Run 可能持续数小时,期间依赖模型供应商、策略引擎、凭据代理、状态库、消息队列、对象存储和多种执行后端;任何一个依赖失效时,平台都必须回答三个问题:哪些任务受影响、现在应该做什么、恢复之后如何证明事实没有丢失也没有重复。 进程故障有第 6 篇的租约接管与副作用对账兜底,但可用区故障、区域灾难、共享依赖全挂和备份失效,需要另一层架构来承接。

本文建立五层故障域模型:实例与进程、可用区、区域、依赖服务、控制面,并说明每层故障的影响面为什么不能互相推导;给出覆盖模型供应商、PDP 与策略、凭据代理、数据与记忆、消息队列、权威状态库、对象存储、执行后端、遥测九类依赖的故障矩阵,明确每类的默认行为、降级策略与禁止动作;把第 13 篇的 fail-open/fail-closed 矩阵深化为可复用的决策框架;定义接管与恢复 SLO 的时间构成与度量口径;给出 L0 全自主到 L4 优雅拒绝的降级阶梯及其触发、决策与恢复协议;以 Cell 架构控制故障传播半径,并约束跨 Cell 控制面只分发签名版本与策略、不自动扩权;按能力层级讨论多可用区与同城、异地容灾,说明状态复制方式与 RPO 的真实关系;最后以备份恢复、混沌演练和 SLO 错误预算把上述机制闭环到发布准入。

本篇的事实纪律:RPO 与 RTO 只给定义与方法,不给未经实测的承诺数字;多可用区、同城与异地容灾按能力层级表述;不指定任何必选产品。事件溯源不自动提供 RPO=0——事件的耐久性同样取决于提交与复制方式,这是本篇反复强调的边界。

队列与背压在第 16 篇展开,资源池扩缩在第 15 篇展开,安全事件响应在第 13 篇展开,本篇不重复。


1. 问题背景:单点协议撑不起系统级故障 ​

第 4 篇与第 6 篇已经建立了单 Run 维度的可靠性协议:RunLease 加单调 epoch 的 fencing 保证同一时刻只有一个有效持有者推进 Run;状态与 Outbox 原子提交后即为耐久事实;UNKNOWN 必须对账;接管者先读历史并对账在途动作再决定继续。这套协议能够承接单实例故障:Worker 崩溃、Pod 被驱逐、进程假死,接管者拿到新 epoch,读取 Checkpoint 与事件,对账在途 Execution,Run 继续推进。

但生产平台的故障不止于此。把视角拉高,会出现一组单 Run 协议回答不了的问题:

故障场景单 Run 协议能否承接缺什么
单个 Worker 崩溃能租约接管与对账已覆盖
模型供应商全部端点不可用部分在途调用对账可覆盖,但新任务怎么办、降到哪一级没有定义
权威状态库主切换部分写中断窗口内的受理、提交、续租行为需要统一定义
整个可用区失效不能实例、队列、状态副本同时丢失,接管者本身也在故障域内
区域灾难不能需要异地状态复制、切换决策与数据丢失范围评估
控制面不可用不能版本分发、策略下发、凭据轮换停摆,运行面行为需要预先定义
备份从未演练,恢复失败不能需要恢复演练与实测口径

这些场景的共同点是:故障发生在“承接故障的机制”所在的层。 租约接管依赖状态库,状态库故障时接管本身失效;对账依赖外部查询,模型供应商全挂时对账查询也超时;Cell 内恢复依赖控制面分发版本,控制面故障时 Cell 必须能用本地缓存的签名版本继续运行。因此高可用架构的第一原则是:每一层的恢复机制必须位于该层故障域之外,或者在该层故障时有预先声明的退化行为。

第二个常见误区是把可用性承诺压成一个数字。“五个九”“分钟级切换”“零数据丢失”这类表述如果不区分故障范围,就只是营销语言。单实例故障的恢复时间、单可用区故障的恢复时间、区域灾难的恢复时间,三者由完全不同的机制决定,量级也不同。本篇的全部 RPO/RTO 讨论都按故障范围分别定义,并且只给定义与方法:承诺数字必须来自本平台的实测与演练,不能来自供应商文档或他平台案例。

第三个误区是把“事件溯源”“Outbox”“多副本”等机制直接翻译成 RPO=0。第 6 篇已经说明事件溯源只提供状态重建的表达;本篇进一步明确:事件是否耐久,取决于事件提交所在事务的复制方式。 异步复制下事件同样可能丢失尾部;只有提交路径采用同步多数派确认,已提交事实才不随主切换丢失。机制名字不提供保证,提交与复制方式才提供保证。

本篇的结构对应这七个构件:故障域模型回答“故障发生在哪里、影响什么”(第 2 节);依赖故障矩阵与 fail-open/fail-closed 框架回答“依赖失效时每个控制点做什么”(第 3、4 节);接管与恢复 SLO 回答“恢复要多久、按什么口径度量”(第 5 节);降级阶梯回答“能力不足时如何有序收缩自治”(第 6 节);Cell 架构回答“如何把爆炸半径切小”(第 7 节);多可用区与容灾、备份恢复回答“大范围故障与数据丢失如何兜底”(第 8、9 节);混沌演练与 SLO 体系回答“如何证明以上全部真实有效”(第 10、11 节)。


2. 故障域模型 ​

2.1 五层故障域 ​

故障域(Failure Domain)是一组会因同一原因同时失效的组件。划分故障域的目的不是画组织架构图,而是回答:当某个域失效时,哪些能力同时消失,哪些恢复机制仍然可用。 Agent 平台至少需要识别五层故障域:

五层的关键差异:

故障域典型故障原因同时丢失的东西仍然可用的恢复机制
实例与进程崩溃、OOM、宿主机故障、部署错误该实例上的 Invocation、内存状态、持有的 RunLease权威状态库、Outbox、其他实例的接管能力
可用区断电、网络隔离、机房事故该区内全部实例、队列副本、状态副本其他可用区的实例与状态多数派
区域大范围灾害、骨干网中断该区域全部计算与本地状态异地副本、备份、控制面(若在异地)
依赖服务供应商故障、配额耗尽、协议变更对应能力(推理、授权、存储、传输)平台自身状态与对账协议;替代依赖(若已配置)
控制面控制面组件故障、分发错误、凭据过期新版本发布、策略变更、撤权能力运行面已缓存的签名版本与既定策略

两个结构性结论必须强调:

第一,依赖服务故障域是横切的。 一个外部模型供应商同时服务所有可用区、所有 Cell:它故障时,没有任何“换个可用区重试”可以规避。同理,共享的权威状态库、共享的策略服务都是横切故障域。Cell 可以隔离平台自身组件的故障,却隔离不了共享依赖——这正是第 3 节依赖故障矩阵必须独立于故障域模型存在的原因。

第二,恢复机制必须与被恢复对象分域。 状态库是接管的依据,所以状态库副本必须跨可用区分布;对账器依赖外部查询,所以外部查询不可用时对账要有超时升级路径;控制面分发版本,所以运行面必须能凭本地缓存的签名版本继续运行一个声明的窗口。每声明一项高可用能力,都要追问:它的依据在哪个故障域?

2.2 每层故障的影响面 ​

影响面分析要落到系列领域对象上:故障影响的是哪些 Task 的受理、哪些 Run 的推进、哪些 ExecutionRecord 的在途责任。

实例与进程故障。 影响面限于该实例正在处理的 Invocation 与其持有 lease 的 Run。已提交的 RunEvent、CallRecord 与 Outbox 是耐久事实,不受影响;未提交的提案随进程消失,由事件重新唤醒后重放。在途外部动作按第 6 篇协议处理:有 ExecutionRecord 的对账,无登记的不存在(因为耐久调用原则禁止先斩后奏)。这是唯一可以由单 Run 协议完全承接的故障层。

可用区故障。 影响面是该区内的全部实例与局部副本。此时要注意三类“半死状态”:区内 Worker 可能并未崩溃只是网络隔离——它们仍可能尝试提交状态,fencing 的 epoch 校验是唯一防线;区内状态副本失联,写路径需要多数派重新确认;区内队列副本丢失,Outbox Publisher 需要切换到存活副本继续投递。可用区故障的正确处置不是“杀掉区内一切”,而是让存活侧的接管与 fencing 自然生效,并在恢复后对隔离期间可能发生的行为做对账。

区域故障。 影响面扩展到区域内容灾机制本身。此时恢复依据只剩异地副本与备份,RPO 取决于复制方式(第 8.3 节),RTO 取决于切换机制与验证流程。区域故障中最危险的不是丢计算,而是切换决策:何时宣布区域不可用、谁有权决定、切换前是否评估数据丢失范围——这是治理问题,不是技术问题。

依赖服务故障。 影响面按依赖的能力映射:模型故障影响所有需要推理的 Step;策略服务故障影响所有需要授权判定的控制点;凭据代理故障影响所有需要短期凭据的外部动作。关键区别在于:依赖故障时平台自身状态通常完好,因此处置重心不是恢复,而是降级——在依赖恢复前把自治程度收缩到与可用能力匹配的水平(第 6 节)。

控制面故障。 影响面是“变化”本身:新版本无法发布、策略无法更新、撤销无法下发。运行面按既定版本与策略继续运行是常态,这要求 AgentSpec、策略包、路由表都以签名版本缓存在 Cell 本地,且缓存有效期经过声明。控制面故障期间必须禁止的行为是:以“控制面不可用”为由绕过版本校验或扩大权限——系列约定明确,跨 Cell 控制面只分发签名版本与策略,不在故障时自动扩权。

2.3 故障域设计原则 ​

  1. 先列共享,再谈隔离。 任何被两个以上故障域共享的组件(状态库、模型网关、策略服务、DNS、凭据服务)都是潜在的全局故障源,必须先识别再决定其自身的多域部署方式。
  2. 恢复链路的每一环标注故障域。 接管依赖状态库,状态库依赖多数派,多数派依赖跨区网络——链条上最弱的一环决定恢复能力。
  3. 影响面以领域对象表达。 “三个服务受影响”不是影响面;“该 Cell 内所有 RUNNING Run 的推进暂停、所有 PREPARED Execution 的外呼延迟”才是。
  4. 故障域边界必须演练验证。 声明的边界(例如“两个副本在不同可用区”)与真实的边界(例如“两个副本其实共享同一上游存储集群”)可能不一致,只有注入故障才能分辨。

3. 依赖故障矩阵 ​

第 3 篇确立了平台的功能域与主链,第 13 篇按网关给出了失败模式与默认行为。本节把视角从“网关控制点”切换到“被依赖的系统”,对九类依赖逐一给出故障模式、默认行为、降级策略与禁止动作。矩阵的总原则来自系列约定:授权与敏感出口 fail-closed;非关键遥测可 fail-open;UNKNOWN 必须对账;降级不绕过安全控制。

3.1 矩阵总览 ​

依赖故障时的事实状态默认行为降级策略禁止动作
模型供应商在途调用 PENDING 或 UNKNOWN对账已计费事实,重试受预算约束备选路由、模型降档、降级阶梯超时推断失败、无预算无限重试
PDP 与策略授权事实缺失fail-closed,耐久拒绝事件低风险判定可用签名缓存(声明 TTL)用过期缓存放行敏感动作
凭据代理新凭据无法签发新外部动作暂停,Run 等待或改期已签发短期凭据自然到期回退长期凭据或静态密钥
数据与记忆读取失败或写入不可靠读失败标记未获取;写失败拒绝只读问答降级、来源显式标注编造数据、写入未校验存储
消息队列投递延迟或重复Outbox 持久事实不受损,恢复后幂等消费有界积压、按优先级投递丢弃 Outbox 行、跳过幂等
权威状态库写路径中断受理与状态提交拒绝,续租失败进入等待多数派恢复后接管与对账绕过事务写、降级为无事实受理
对象存储产物与快照读写失败验证与交付阻断,Run 按策略等待元数据与内容分离处置把读写失败当作产物不存在
执行后端外呼结果未知概率上升UNKNOWN 对账,能力级降级停用该类工具、收紧自主性对不可逆动作盲重试
遥测观测数据缺失fail-open,有界缓冲或采样丢弃关键事实走独立耐久通道遥测阻塞状态提交、审计混入普通遥测

下面逐类展开矩阵中最重要的判断。

3.2 模型供应商 ​

模型是 Agent 平台最典型的“横切共享依赖”:全部 Cell、全部可用区可能同时失去推理能力。故障形态包括端点超时、限流、配额耗尽、响应质量塌陷与供应商整体不可用。

默认行为。 在途模型调用按第 6 篇的模型对账协议处理:ModelCallRecord 处于 PENDING 或 UNKNOWN 时,按 provider_call_id 查询或等待账单窗口,已计费未响应的补记用量、响应按丢失处理;未决费用显式保留,不静默归零。模型调用不产生业务副作用,重试本身安全,但重试消耗 Token 与预算,必须受调用预算与截止时间约束——供应商故障期间的无限重试既是费用黑洞,也会在供应商恢复瞬间形成请求洪峰。

降级策略。 按三级展开:其一,AgentSpec 允许的备选模型路由,切换时保持数据驻留、工具权限与验收标准不变(第 13 篇约定);其二,模型降档,例如从大参数模型切换到小参数模型,此时应重新评估输出质量门禁,必要时提高技术验证的抽样比例;其三,进入降级阶梯(第 6 节),把新任务收缩到 L2 仅 HITL、L3 只读问答或 L4 优雅拒绝。排队等待供应商恢复只适用于有明确恢复预期的短时故障,且排队必须有界并受 Task 截止时间约束。

禁止动作。 不得把模型超时推断为“本次推理失败且无费用”;不得因模型不可用而跳过内容治理或输出校验;不得让模型降档静默改变高风险动作的审批要求。

3.3 PDP 与策略 ​

策略引擎(PDP)提供 AuthzDecision,是授权链的核心。它故障时的问题是:授权事实缺失,平台还能做什么?

默认行为。 系列约定明确:授权依赖故障 fail-closed。无法取得当前策略判定的调用,拒绝并形成耐久拒绝事件(CallRejected),而不是“按上次结果放行”。拒绝事件必须进入执行账本与审计,使策略故障窗口内的行为事后可追溯:哪些动作被挡、挡了多少、持续多久,都应是可查询的事实。

缓存的边界。 完全禁止缓存在工程上不现实:低风险只读判定可以基于签名的策略快照做本地判定,但必须满足三个条件——缓存的是签名的策略版本而非零散判定结果;TTL 经过显式声明并与撤销时效匹配;敏感动作、写动作、不可逆动作永不使用缓存判定,执行前必须取得当前判定。第 13 篇已指出“策略引擎不可用时高风险动作靠旧缓存继续执行”是典型事故形态,本节把它固化为矩阵规则。

与审批的关系。 审批服务不可用时,待审批动作停留在 WAITING,不产生批准;审批超时默认拒绝(系列约定)。不存在“审批系统挂了所以自动通过”的路径。

3.4 凭据代理 ​

凭据代理负责签发受众绑定的短期凭据(第 0 篇授权链的倒数第二环)。它故障时,已签发且未到期的凭据仍然有效,新签发中断。

默认行为。 需要新凭据的外部动作无法组装 ExecutionSpec,外呼暂停;Run 按策略等待或释放 Worker 后改期唤醒。凭据代理自身的高可用(签发服务的多副本、密钥材料的冗余)属于该服务的职责,平台侧只定义“签发不可用”时的行为。

降级策略。 短期凭据到期前的窗口内,动作照常执行;窗口耗尽后,依赖该凭据的能力整体降级。凭据轮换失败要区分“新凭据签发失败”与“旧凭据撤销失败”:前者暂停新动作,后者是安全事件,应按第 13 篇的撤权流程处置,必要时主动终止依赖该凭据的在途动作。

禁止动作。 严禁因凭据代理不可用而回退到长期凭据、静态密钥或“先用共享账号顶上”。这类回退会把一次可用性故障升级为权限治理事故,且事后清理成本远高于等待恢复。

3.5 数据与记忆 ​

数据与记忆网关背后是业务数据、RAG 索引与长期记忆存储。故障形态分读与写两类。

读失败。 检索不可用时,Agent 的正确行为是显式标注“未获取到授权数据”,而不是用缓存旧数据或模型自身知识冒充当前事实。若任务目标依赖实时数据(例如“读取最新报表生成分析”),数据不可用应使 Step 失败或 Run 暂停,由任务策略决定等待还是失败收尾;若任务允许基于历史快照,则快照的时间戳与来源必须进入上下文与产物元数据。

写失败。 记忆写入与业务写入 fail-closed:写入目标不可用时拒绝写入并记录,不得把待写内容暂存在不受治理的本地路径等待“以后补写”——那会制造绕过写入治理的旁路。记忆写入还应遵守第 0 篇的治理要求:来源、授权与风险属性随写入一起持久化,写入失败不产生半条记忆。

索引污染与故障的区分。 索引不可用是可用性问题,索引内容被污染是安全问题(OWASP ASI06)。两者的处置路径不同:前者降级与等待,后者隔离、回滚与取证。矩阵只覆盖前者,后者归第 13 篇的安全事件响应。

3.6 消息队列 ​

消息队列在本系列中的定位非常明确:它是事件运输,不是权威状态。 状态与 Outbox 在同一事务提交后即为耐久事实,队列故障损失的是投递时效,不是事实本身。

默认行为。 队列不可用时:Outbox 行在状态库中累积,发布延迟指标告警;受理路径不受影响(只要状态库可写);事件消费方暂停消费,恢复后按 event_id 幂等消化重复投递。队列恢复的瞬间通常伴随积压洪峰,消费端必须保持幂等与有界并发,避免把积压转化为对下游的冲击。

降级策略。 积压期间按消息性质分级:耐久命令(外呼、定时器)优先,事实事件次之,纯通知类可以延迟或合并。若队列长期不可用且状态库健康,平台可以声明“投递降级窗口”:Run 推进因事件无法传递而暂停,但事实完整性不受损——这正是“事实先于投递”的价值。

禁止动作。 不得因队列故障把 Outbox 改道写入其他非事务存储;不得为清积压而跳过消费端幂等;不得把“消息没投递”当作“取消已完成”(第 6 篇约定:Publisher 丢弃消息不等于取消完成)。

3.7 权威状态库 ​

权威状态库是整套持久执行协议的地基:受理事务、聚合版本、RunLease、Outbox、执行账本都在其中。它的故障是全平台最严重的内部故障。

默认行为。 写路径中断时,平台必须诚实地停止制造新事实:受理拒绝(返回可重试错误,不假装受理成功)、状态提交失败(Worker 无法推进,续租失败后释放控制权)、对账结论暂缓落库。任何“状态库不可用但先记在内存里”的实现都是在制造未来的对账灾难。 读路径要区分主读与副本读:涉及 lease、版本与 Outbox 的读取必须走主或走多数派校验,副本只用于观测与报表,防止复制延迟导致旧版本状态被当作当前状态。

主切换窗口。 主切换期间存在一个写中断窗口,窗口内的三类行为需要定义:已提交未确认的事务(对调用方表现为 UNKNOWN,按提交方协议重试或放弃);已确认未复制到多数派的事务(取决于复制方式,见第 8.3 节);切换瞬间两个节点都自认为主的脑裂窗口(由 fencing token 与多数派校验兜底,旧主的写入被拒绝)。切换完成后,全部 Worker 的 lease 续租会自然失败并重新竞争接管,第 6 篇的恢复协议在此生效:接管者先对账在途,再决定推进——状态库切换期间外部世界可能已经发生了动作,这些动作只能靠 ExecutionRecord 与外部查询确认,不能靠状态库自己“想起来”。

禁止动作。 不得在状态库故障时降级为“无状态受理”(先答应再补事实);不得手工改库“修复”状态而绕过 Reducer 与版本校验;不得把副本提升为主而不评估数据丢失范围。

3.8 对象存储 ​

对象存储承载产物、Checkpoint 大对象、快照镜像与审计归档。它的故障影响面比状态库小,但恢复周期可能更长。

默认行为。 产物写入失败时,Artifact 不成立,技术验证无法通过,Run 按策略重试或失败;产物读取失败时,交付阻断,DeliveryRecord 保持未提交或进入 UNKNOWN 对账——不得把读写失败解释为“产物不存在”而触发重新生成,那会重复消耗模型与执行资源,甚至重复产生业务动作。

设计建议。 把“产物的元数据与事实”和“产物的内容字节”分开:ArtifactManifest(摘要、版本、引用、验证状态)随权威状态库提交,内容字节在对象存储。这样对象存储故障时平台仍知道“存在一个暂时不可读的产物 v3”,恢复后按摘要校验继续交付,而不是从零重建事实。Checkpoint 同理:CheckpointRef 与摘要在状态库,大对象在对象存储;对象存储不可用时恢复退化为“从事件重放”,慢但正确。

3.9 执行后端 ​

执行后端包括 API 与 MCP 适配器、浏览器池、远程作业与 Sandbox 池。它们的故障有两类:池级故障(整类执行能力不可用)与目标系统故障(外部业务系统本身失效)。

池级故障。 该类 ExecutionSpec 无法落地:PREPARED 记录保持待领取,SUBMITTING 记录按响应丢失进入 UNKNOWN。处置分两步:对账在途(第 6 篇协议),以及能力级降级——在执行适配器注册表中标记该类能力不可用,使 Harness 规划时不再选择该类工具,或把涉及该类工具的任务降到 L1(收紧工具)以上等级。池恢复后,PREPARED 记录按末端门禁重新领取,UNKNOWN 记录按对账结论处置。

目标系统故障。 外部业务系统失效时,平台侧的正确姿态是区分“明确失败”与“未知”:目标返回明确拒绝或未执行证据的,可以按重试预算安全重试;响应丢失的进入 UNKNOWN,先对账再决定。对不支持幂等与查询的不可逆目标,矩阵规则与第 6 篇一致:禁止自动重试,转人工裁决,并收紧同类动作的自主性。

3.10 遥测 ​

遥测是唯一被系列约定明确允许 fail-open 的依赖:非关键遥测可以在故障时有界缓冲、采样或丢弃。但这条许可有三条硬边界:

  1. 关键事实不走普通遥测管道。 授权决定、许可消费、ExecutionRecord、Acceptance、Delivery、Settlement 是业务事实,必须写入权威账本;审计记录按保留要求写入独立的耐久存储。普通 Trace、Metric、Log 管道故障时,这些事实的提交不受影响。
  2. 有界缓冲必须真的有限。 遥测缓冲无界增长会把遥测故障转化为内存故障,最终拖垮状态提交——缓冲满时按声明策略丢弃非关键样本并告警,而不是阻塞业务线程。
  3. SLO 计算不依赖单一遥测源。 可用性类 SLO 的事实来源应是权威状态与账本(第 11 节),遥测只作辅助与排障入口。遥测故障期间 SLO 报表可以缺失,但业务事实不能缺失。

4. fail-open 与 fail-closed 决策框架 ​

第 13 篇给出了按控制点的默认策略矩阵,本节给出产生那张矩阵的决策框架,使新增控制点时不必逐案争论。

4.1 四个决策要素 ​

每个控制点的失败语义由四个要素决定:

要素问题偏向 fail-closed 的答案
事实属性故障是否意味着授权事实缺失?是:认证、授权、许可核验、撤销校验
放行后果放行是否造成不可逆副作用或数据流出?是:敏感出口、不可逆工具、资金动作
可纠错性放行错误能否被事后对账消除?否:无查询能力的不可逆动作
保护对象该控制点保护的是安全事实还是可用性?可用性:限流、熔断、非关键遥测

决策顺序是固定的,任一环节命中 fail-closed 即终止:

4.2 三条补充规则 ​

规则一:fail-closed 的输出必须是事实,不是沉默。 拒绝要产生耐久的 CallRejected 事件与审计记录,包含拒绝原因、控制点、依赖故障标识与时间。沉默的 fail-closed 与故障本身一样危险:运营侧看到的是“任务变慢了”,却不知道是依赖故障在挡——这正是把可用性事故拖成信任事故的常见路径。

规则二:stale-while-revalidate 只属于低风险判定。 缓存旧判定继续服务(事后重验)的模式只能用于同时满足三个条件的控制点:不涉及授权事实、不产生不可逆副作用、错误可被事后发现并纠正。典型可用场景是低风险内容的展示排序、非敏感检索的缓存命中;典型禁用场景是 ReleaseGrant 核验、revocation epoch 校验、敏感出口检测——这些控制点的“旧判定”在语义上就是错误判定。

规则三:失败语义必须声明、可查、被演练。 每个控制点在接入评审时登记其 fail 行为(fail-closed / fail-open / 降级路径)、声明依据(四要素的答案)与验证方式。混沌演练通过“使该依赖不可用”来验证声明为真。未声明失败语义的控制点不得进入生产主链——第 13 篇把这类问题称为“失败语义缺失”,本节把它变成发布准入条件。

4.3 与降级阶梯的关系 ​

fail-open/fail-closed 决定的是单个控制点在依赖故障瞬间的行为;降级阶梯决定的是平台在持续故障下的自治水平。两者是时间轴上的接力:控制点的 fail 行为撑过故障的第一分钟,若依赖在声明窗口内未恢复,降级阶梯接管,把任务流量收缩到与剩余能力匹配的水平。控制点 fail-closed 拒绝率持续上升,本身就是降级阶梯最重要的触发信号之一(第 6.2 节)。


5. 接管与恢复 SLO ​

第 6 篇给出了恢复的四步协议:租约接管、读取历史、对账在途、决定继续或裁决。本节定义这一协议的时间构成、检测机制与度量口径——恢复能力如果不被度量,就只是希望。

5.1 租约到期检测 ​

接管的前提是“发现旧持有者不再推进”。检测机制有三种,通常组合使用:

检测方式机制特点
到期扫描独立扫描器周期性查找 expires_at 已过的 lease实现简单,延迟含扫描周期;扫描器自身需多活与选主
心跳超时续租失败计数超过阈值即判失联对网络抖动敏感,需与 fencing 配合容忍误判
主动移交排空、发布、缩容时显式交还 lease计划内路径,延迟最低,不覆盖崩溃

检测延迟由 lease TTL 剩余时间与扫描周期共同决定,这里存在一个必须显式权衡的矛盾:TTL 短则接管快,但误判概率高——GC 停顿、网络抖动、时钟偏差都可能让活着的 Worker 被判定失联。系列约定对此的答案是:安全性不依赖检测的准确性。 误判发生时,旧 Worker 仍然存活并尝试提交,单调 epoch 的 fencing 会在状态写入事务与执行入口处拒绝它;它已发出的外部动作不因 lease 失效而失效,由接管者对账确认。Lease 失效不等于远端动作失败——这条约定把“检测不准”从正确性问题降级为效率问题:最坏情况是一次多余的接管与对账,而不是双写或丢动作。

5.2 接管流程 ​

流程中三个容易出错的细节:

  1. 接管者获得的是新 epoch,不是旧 Worker 的内存。 旧 Worker 未提交的提案、未发出的外呼、本地缓存的上下文都不在移交范围内;接管者拥有的一切来自权威状态、Checkpoint 与事件。
  2. 对账先于推进,包括对“看起来没事”的 Run。 一个 Run 可能停留在两个外部动作之间、没有任何未决记录——这是最好的情况,但结论必须由扫描未决记录得出,不能由“没看到异常”得出。
  3. 延迟命令按 ExecutionRecord 校验,不按原 lease。 Run 进入 WAITING 并释放 lease 后,此前耐久调度的命令仍必须被执行:执行方校验记录中的 authorized_epoch、ExecutionSpec 摘要、ReleaseGrant、撤销版本与当前 control_intent,并 CAS 领取记录(第 4、6 篇约定)。接管流程不得把这些命令当作旧 Worker 的遗留物清理。

5.3 恢复验证 ​

接管完成不等于恢复完成。恢复验证是恢复流程的出口门禁,至少核对五项:

验证项内容不通过的去向
版本兼容agent_spec_digest 与 Checkpoint Schema 可被当前 Runtime 装载显式迁移或失败收尾,不静默恢复
授权重验用户委托、工具与数据权限、审批适用性仍然有效拒绝继续、重新授权或收尾
在途对账全部 PENDING、UNKNOWN、CANCELLING 记录有结论或已升级裁决保持未决,Run 不得推进过该点
控制意图control_intent 与 revocation epoch 为最新取消收尾或撤销处置
预算与期限剩余预算与截止时间允许继续失败收尾或人工裁决

5.4 接管时间构成与恢复 SLO ​

接管时间必须拆开度量,否则“平均接管很快”会掩盖“长尾对账失控”:

时间段决定因素优化手段
检测延迟TTL、扫描周期、时钟偏差容忍在保证误判可容忍的前提下收紧 TTL;扫描器多活
接管竞争候选 Worker 数量与退避策略分区认领,避免全体扫描同一批 lease
状态装载Checkpoint 新鲜度与事件尾部长度周期性 Checkpoint 控制尾部规模
在途对账外部系统查询能力与响应时间按风险分级并行查询;不可查询者直接升级裁决
决策出口证据完整性裁决台工具化,减少人工往返

据此定义三个恢复 SLO 口径:

  • 接管时间:lease 到期到接管者完成恢复验证、可安全推进(或明确升级裁决)的时间。注意口径是“可安全推进”,不是“拿到 lease”——把拿到 lease 记为接管完成,会让指标好看而事故照旧(第 6 篇已警告)。
  • 恢复成功率:故障 Run 中在声明窗口内完成接管并恢复推进(含有序进入裁决)的比例;长期滞留 NEEDS_REVIEW 且无人处置的记为未恢复。
  • 对账消解时间:UNKNOWN 产生到终态或人工裁决结论落库的时间,按动作风险等级分组。

这三个口径与第 11 节的平台级 SLO 挂钩:恢复成功率是“执行成功率”的分母修正项,对账消解时间决定 Finalization 门禁前 Task 的滞留时长。


6. 降级阶梯与自治等级联动 ​

依赖故障持续超过声明窗口,或错误预算快速消耗时,平台不应继续以全自主姿态运行。降级阶梯定义平台在能力受损时如何有序收缩自治程度,它是 fail-open/fail-closed 的时间轴接力,也是 OWASP ASI08 级联失效的工程对策:与其让故障通过自动重试与自主决策放大,不如主动收缩。

6.1 五级阶梯 ​

等级名称允许的行为禁止的行为
L0全自主按 AgentSpec 全量工具与既定审批策略自主推进无(正常态)
L1收紧工具与高危强制审批仅白名单工具;全部高危动作强制人工审批;重试预算收紧新增自主外呼类别
L2仅 HITL每步外部动作需人工确认;规划结果先展示后执行未经确认的任何外部写动作
L3只读问答只读检索与问答;产物仅限分析草稿,不触达外部系统一切外部副作用与业务写入
L4优雅拒绝明确告知当前能力受限,受理可延期的请求并排队或预约假装正常服务、静默丢弃请求

等级语义的三点澄清:

  1. 降级收缩的是自治,不是安全。 每一级都完整保留授权校验、内容治理、审计与 fencing。L2 的 HITL 是在既有授权链上叠加人工确认,不是用人工确认替代授权;L3 的只读问答仍要过数据授权与敏感内容治理。降级不绕过安全控制是系列硬约定——以“都降级了还查什么权限”为由跳过控制点,是把可用性事件升级为安全事件。
  2. L4 不是宕机。 优雅拒绝意味着受理层仍然可用:返回明确的受限说明、可重试时间预期,对可延期请求登记排队或预约。拒绝本身也要持久记录,作为 SLO 事实与恢复后补受理的依据。
  3. 等级作用于任务流量,不推翻已持久化的事实。 降级不取消已受理 Task 的在途责任:未决 UNKNOWN 仍要对账,取消意图仍要收尾,Finalization 门禁仍要执行。降级影响的是“新动作的自主程度”,不是“旧责任的存续”。

6.2 触发条件 ​

触发信号分四类,按证据强度排列:

信号类别示例说明
依赖健康模型端点全挂、状态库写中断、凭据代理不可用由依赖故障矩阵直接映射到建议等级
控制点拒绝率fail-closed 拒绝事件速率超过声明阈值拒绝率是“能力受损”的最早可测信号
错误预算SLO 错误预算消耗速率超过阈值与第 11 节联动,预算耗尽自动收紧
行为异常目标偏移、异常工具序列、级联重试安全信号,可触发定向降级(特定 Agent 或租户)

触发必须带范围:全局、Cell 级、租户级或 Agent 级。模型供应商全挂是全局触发;单 Cell 状态库故障是 Cell 级触发;某 Agent 行为异常只降级该 Agent。范围错误是降级事故的常见来源——把局部故障放大为全局降级,等于让无关租户为单点故障买单。

6.3 决策权限 ​

决策权限约束
自动降级一档(如 L0 到 L1)平台按声明规则自动执行规则版本化、可审计、可回滚
跨多档降级与 L4值班负责人决定,双人复核附触发证据与预期恢复条件
全局降级更高级别运营负责人事后复盘强制
定向降级(单租户或单 Agent)平台自动或安全运营与安全事件响应流程衔接
恢复升级见 6.4,不允许自动跳级每级恢复独立确认

自动降级规则必须声明三要素:触发阈值、生效范围、自动失效条件。没有自动失效条件的降级规则会把平台永久钉在低等级——“降级容易恢复难”的另一面是“没人记得还在降级”。

6.4 恢复条件 ​

恢复不是依赖恢复的瞬间动作,而是逐级确认的过程:

  1. 依赖恢复确认:依赖健康信号回到正常区间,且持续一个声明的观察窗口(避开抖动与假恢复);
  2. 对账清零:降级窗口内积累的 UNKNOWN 与未决裁决处理到声明水位——带着大量未决责任恢复全自主,等于让新动作与旧责任竞争;
  3. 容量确认:降级期间积压的任务会在恢复瞬间涌入,恢复前确认受理、调度与执行容量能够吸收,必要时分批放开;
  4. 逐级升级:L4 到 L3、L3 到 L2 逐级进行,每级观察一个窗口;不允许从 L4 直接跳回 L0——跳级恢复失去了在中间等级验证“半自主路径是否正常”的机会;
  5. 恢复记录:每次升级记录决策人、证据与时间,与降级记录配对存档。

6.5 与安全档位的联动 ​

第 13 篇按自主性、权限、数据敏感度、可逆性与暴露面把任务分为安全档位 S0–S3。降级阶梯与安全档位的联动规则是:安全档位决定降级容忍度。 高敏感度、不可逆动作占比高的任务,在 L1 就应收紧到仅白名单,在 L2 直接暂停而不是等待 HITL 确认(审批通道本身可能正是拥塞点);低敏感只读任务可以在 L3 继续提供价值。联动产物是一张“档位 × 等级”的行为矩阵,作为降级规则的声明依据,避免降级时临场发挥。


7. Cell 架构 ​

第 3 篇提出:大规模部署可将一组 Task API、Harness Worker、Execution Runtime、局部队列和配额组成 Cell,租户或 Task 归属特定 Cell,控制单点故障的传播范围。本节把 Cell 从概念展开为可运维的架构。

7.1 为什么需要 Cell ​

横向扩展的朴素形态是“所有组件一个大池子”:统一队列、统一 Worker 池、统一状态库。它的故障特征是全局共振——一个租户的异常重试打满队列,所有租户一起饿死;一次状态库慢查询拖住全部 Worker;一个坏版本被所有实例同时装载。Cell 的本质是把共振切成局部震荡:故障被限制在单个 Cell 内,其他 Cell 的受理、调度与执行不受影响。

Cell 同时是运维单元:发布可以按 Cell 灰度,容量可以按 Cell 规划,演练可以按 Cell 隔离爆炸半径。

7.2 Cell 划分与归属路由 ​

划分维度按优先级:

  1. 合规与数据驻留优先。 不同驻留要求的租户必须分 Cell,这是硬约束而非优化;
  2. 租户归属。 大租户独占 Cell,中小租户按容量与风险画像分片归组;同一租户的 Task 默认同 Cell,避免跨 Cell 的上下文与权限拼接;
  3. 任务类型。 长时批处理与交互式短任务可分 Cell,防止长任务占满调度资源后拖垮交互时延。

归属路由是控制面维护的权威映射:tenant_id 到 cell_id,Task 在受理时按归属进入对应 Cell。归属变更是受治理的迁移操作:需要容量评估、审批与迁移窗口,不是改一行配置。Task 在途期间不迁移 Cell——迁移一个带着未决 Execution 的 Run 等于在运动战中换引擎;确需迁移时,先按第 6 篇协议把 Run 收敛到安全点并裁定在途动作。

7.3 Cell 内组件 ​

Cell 内是一整套可独立运行的最小闭环:受理、调度、执行、状态、队列、对账。设计要点:

  • 状态分片按 Cell 隔离。 Cell A 的状态库故障不产生 Cell B 的写压力;分片方式(独立实例或逻辑分库)按规模选择,但故障隔离必须真实有效;
  • 队列与定时器局部化。 Outbox Publisher、定时器、对账扫描都在 Cell 内闭环,避免全局队列成为共振通道(队列与背压的细节见第 16 篇);
  • 执行适配器池按 Cell 部署,外部目标系统仍是共享依赖。 Cell 隔离的是平台组件,隔离不了外部业务系统——对后者的保护靠第 3 节的依赖故障矩阵;
  • Cell 间不互相调用推进逻辑。 跨 Cell 的只有控制面分发与必要的聚合报表,任何“Cell A 的 Worker 帮 Cell B 推一下”的旁路都会重新打通故障传播。

7.4 Cell 故障处置 ​

处置规则逐条说明:

  1. 先止血再恢复。 路由层停止向故障 Cell 分发新任务,向调用方返回可重试错误或按策略改期;其他 Cell 不受影响是 Cell 架构的核心承诺,必须用指标(跨 Cell 错误率无上升)验证。
  2. 状态可恢复时,恢复的是计算不是事实。 状态分片的多可用区副本健康时,重建 Worker 池后按第 5 节流程接管与对账;已提交事实原样存在,Outbox 继续投递。
  3. 状态受损时走容灾或备份。 按第 8、9 节流程评估数据丢失范围,恢复后必须对账:恢复点之后的外部世界可能已经发生了动作,平台认知落后于现实的部分只能靠 ExecutionRecord 与外部查询补齐。
  4. 不自动吸收。 故障 Cell 的租户不应被自动切到邻近 Cell:邻近 Cell 的容量按其自身租户规划,突然吸收流量可能引发二次故障(noisy neighbor 的灾难版)。确需疏散时,按预案逐个租户评估容量并显式迁移。
  5. 不自动扩权。 Cell 故障不是放宽控制的理由:版本校验、策略强制、审批要求全部保持;控制面不可用时按本地缓存的签名版本运行,而不是“先不校验了”。

7.5 跨 Cell 共享控制面 ​

控制面是唯一的跨 Cell 共享层,其职责被刻意限制为分发事实:签名的 AgentSpec 与镜像摘要、策略包与撤销事实、归属路由表。约束来自系列约定:

  • 只分发签名版本与策略,不参与运行推进。 控制面故障时 Cell 继续运行,靠的是本地缓存的签名版本与声明的缓存有效期;
  • 不在故障时自动扩大权限。 控制面不可用期间,撤销无法下发是真实风险,对策是撤销事实的高可用分发与 Cell 侧“撤销不可确认时向严格方向处置”(暂停可疑版本的新 Run),而不是跳过校验;
  • 控制面自身的变更受最严格治理。 路由表与策略包的错误分发会同时命中所有 Cell,因此控制面变更必须灰度(按 Cell 分批)、可回滚、带签名与版本号。

控制面可用性目标与运行面分开声明:控制面短时不可用(Cell 凭缓存运行)是可接受事件,控制面长期不可用(缓存过期、无法撤销)是重大事件——两者的告警阈值与响应级别不同。


8. 多可用区与容灾 ​

本节按能力层级讨论部署形态,不指定产品,也不给未经实测的数字承诺。核心是讲清楚:每一层能力由什么机制提供,机制的边界在哪里,RPO/RTO 由什么决定。

8.1 能力层级 ​

层级部署形态承接的故障状态机制典型代价
层级一单可用区多实例实例与进程故障单主状态库加备份低;可用区故障即服务中断
层级二同城多可用区单可用区故障状态跨区复制,多数派提交中;跨区时延影响提交延迟
层级三同城多可用区加异地备份或冷备区域灾难(可接受较长恢复)跨区复制加异地备份中高;异地恢复需演练
层级四异地双活或多活区域灾难(要求快速接管)异地状态复制加流量切换高;一致性与切换复杂度显著上升

选择层级的依据不是“越高越好”,而是业务对各级故障的实际容忍度:Task 的业务截止时间、在途副作用的资金属性、监管对数据驻留与恢复能力的要求。层级每升一级,复杂度与成本非线性上升;用层级二的投入声称层级四的能力,是容灾领域最典型的虚假承诺。

8.2 单可用区故障 ​

层级二的基本盘是:计算无状态化横铺多区,状态与消息跨区复制。

单区失效时的行为分解:

  • 计算层。 故障区实例丢失,存活区实例接管 lease。接管量与故障区承载的活跃 Run 成正比——这要求容量规划时确认:任一可用区失效后,存活区能否吸收全部负载(N 减一容量准则);
  • 状态层。 多数派在存活区时,写路径在主切换窗口后恢复;窗口内的行为按第 3.7 节定义处置。若多数派恰好落在故障区(例如三区部署故障两区),写路径不可用,平台进入“只读或拒绝”状态,这是层级二的能力边界,必须预先声明;
  • 消息层。 队列副本跨区,存活副本继续投递;Outbox 的耐久性不依赖队列,只依赖状态库;
  • 在途动作。 故障区 Worker 发出的外呼可能已在远端生效,接管者按第 5 节流程对账——可用区故障只是把单实例接管放大为批量接管,协议不变。

单区故障的恢复目标应按“受理恢复”“推进恢复”“对账清零”三个口径分别度量:受理可用性通常最先恢复(路由与存活区实例即可),Run 推进次之(依赖状态写路径),对账清零最后(依赖外部查询)。把三者混成一个 RTO 会同时高估和低估真实能力。

8.3 状态复制方式与 RPO 的关系 ​

RPO(Recovery Point Objective)回答:恢复后,最近多长时间的事实可能丢失。 对 Agent 平台,丢失的事实意味着“受理过但查不到”“外呼过但账本无记录”,其后果远比普通业务数据严重。RPO 由提交与复制方式决定,与“是否用了事件溯源”“是否用了 Outbox”无关:

逐条说明:

  • 同步多数派提交。 事务在多数派确认后才向调用方返回提交成功。主切换时,任何“已对调用方承诺”的事实都已在多数派上存在,不丢失;可能丢失的只有尚未返回确认的在途事务——对调用方而言那是 UNKNOWN,按幂等键重试或放弃。这是把 RPO 收敛到“未确认窗口”的唯一方式,代价是每次提交等待跨区确认。
  • 同步优先、故障降级异步。 常态同步,副本不可达时降级为异步继续服务。必须显式声明:降级窗口内的提交在随后主切换中可能丢失,以及降级本身的告警与恢复流程。未声明的静默降级异步是隐性 RPO 劣化——运营以为仍是同步保护,实际已不是。
  • 异步复制。 提交返回不等待副本,RPO 等于切换时刻的复制滞后。滞后的量由负载与网络决定,不是常数;任何把异步复制表述为“准实时所以约等于零丢失”的说法都缺乏事实依据。
  • 备份加日志尾。 RPO 等于最近备份点加可重放日志的覆盖范围,通常作为最后一道防线而非主恢复手段。

事件溯源与 Outbox 的澄清。 事件溯源把状态表达为事件序列,Outbox 把消息与状态同事务提交——两者解决的是“事实如何表达与传递”,不解决“事实写在哪里才算耐久”。事件写在异步复制的库上,RPO 就是复制滞后;事件写在同步多数派的库上,已提交事件才不丢。同理,Outbox 行与状态同事务提交意味着两者同生共死:状态丢了 Outbox 也丢(事实从未对调用方成立),不会出现“状态在而 Outbox 丢”或反过来的撕裂——这正是原子提交在容灾语境下的价值。

8.4 区域灾难与异地容灾 ​

区域灾难下,同城多可用区整体不可用,恢复依据只剩异地副本或备份。异地容灾按能力分三层:

能力层机制能力边界
异地备份定期全量与日志归档异地保存恢复走备份流程,RPO 与 RTO 均由恢复作业决定,适合可接受较长中断的场景
异地热备异地维护复制副本与待命计算,不承接流量切换需要提升副本与拉起计算,RPO 取决于异地复制方式(通常为异步),RTO 取决于切换演练成熟度
异地多活多区域同时承接流量,状态按一致性协议同步或分区能力最强,复杂度最高;写冲突、一致性与切换治理成本显著上升

两个事实纪律重申:其一,异地复制受物理时延约束,跨地域同步提交在多数场景不可行,因此异地 RPO 通常由异步复制滞后决定——这不是工程不努力,是物理约束;其二,区域切换的 RTO 由“决策加切换加验证”共同决定,其中决策(何时宣布区域失效)往往是最大变量,必须写入预案并演练,而不是留给事故现场的临场判断。

8.5 切换与回切 ​

切换的前提是评估。 异步复制下切换必然面对“尾部事实可能丢失”的问题,切换决策必须回答:丢失窗口内受理的 Task 怎么办?答案只能是预案化的:调用方按幂等键重试可重建受理事实;已外呼未记录的动作在恢复后靠对账确认;无法确认的进入人工裁决。切换不是把问题消灭,而是把问题转换为已定义好的处置流程。

回切比切换更难。 异地运行期间产生了新事实,原区域恢复后存在双向差异。回切前必须建立反向复制并完成差异对账,确认两侧事实收敛;直接“切回去”会丢弃异地期间的事实。回切还应避开业务高峰,并保留随时停止的能力。

切换必须演练。 未演练的切换预案在真实事故中的表现几乎必然劣于纸面:DNS 与路由的生效时间、证书与凭据在新区域的可用性、依赖服务的区域亲和、控制面在新区域的可达性,都是只有演练才能暴露的问题。

8.6 数据一致性取舍 ​

容灾设计的本质是在一致性、可用性与恢复复杂度之间做显式取舍。Agent 平台的特殊性在于:它有对账机制兜底认知差异,但没有机制兜底事实丢失。 由此得出三条取舍原则:

  1. 宁可短暂不可写,不可静默丢事实。 多数派不可达时拒绝写入(受理返回可重试错误),优于降级单点写入后丢失——前者损失可用性,后者损失事实完整性并制造对账黑洞;
  2. 丢失范围必须可测量。 切换后应能回答“丢失窗口多长、影响哪些租户与 Task”,这要求复制滞后有持续度量,而不是事后估计;
  3. 一致性缺口交给对账,不交给想象。 恢复点与外部世界的差异,统一走 ExecutionRecord 对账与人工裁决协议;任何“应该没丢什么”的推断都不能替代按记录核对。

9. 状态耐久与备份恢复 ​

容灾解决“故障时继续服务”,备份解决“事实受损后重建”。两者互补:容灾副本会忠实地复制一次误删除或逻辑损坏,备份加时间点恢复是对抗逻辑错误的最后防线。

9.1 备份对象与策略 ​

对象内容方式要点保留考虑
权威状态Task、Run、Execution、Approval、Settlement 等聚合与事件全量加快照或日志尾,支持时间点恢复覆盖最长业务追溯期
Outbox 归档已发布 Outbox 行的审计归档随状态备份或独立归档与审计要求对齐
产物Artifact 内容与 Manifest对象存储版本化加跨区域复制按交付与合规保留期
审计授权、审批、许可、执行与裁决记录独立耐久存储,WORM 防篡改法定或合规要求的最长期
Checkpoint 大对象逻辑 Checkpoint 的内容体随产物存储策略,可再生者允许丢失短于 Run 追溯期即可
控制面数据归属路由表、策略包、版本清单签名后独立备份与版本保留对齐

策略要点:

  • 备份是签名与校验过的事实。 每次备份记录校验和与恢复验证结果;没有校验和的备份在恢复时不可信;
  • 加密与权限。 备份包含业务事实与审计,其访问控制不低于生产库;备份介质的权限审计同样纳入安全治理;
  • 备份窗口与 RPO 声明挂钩。 平台声明的最后一道防线 RPO 由备份间隔与日志尾覆盖决定,声明必须与实际策略一致。

9.2 恢复演练 ​

未经演练的备份等于没有备份。 演练分三级,成本与置信度递增:

级别形式验证内容
桌面推演按预案走读恢复步骤与决策点流程完整性、职责分工、决策权限
沙箱恢复在隔离环境从备份恢复到指定时间点备份可恢复性、恢复作业正确性、工具可用
全量演练按容灾预案执行真实切换或恢复作业真实 RPO 与 RTO、跨团队协作、依赖联动

恢复演练中 Agent 平台特有的验证项:

  1. 恢复点校验。 恢复出的状态通过完整性检查:聚合版本连续、事件序号无空洞、Outbox 与状态一致;
  2. 恢复后对账。 恢复点必然落后于外部世界的现实,恢复流程必须包含“扫描恢复点附近的 ExecutionRecord 并按外部查询对账”——这与接管对账是同一协议,只是范围更大;
  3. 终态与门禁复核。 恢复后 Finalization 门禁重新生效:处于收尾或 NEEDS_REVIEW 的 Task 保持非终态直至门禁裁定,不因恢复作业被批量“清理”成终态;
  4. 实测记录。 每次演练记录实际耗时、数据缺口与流程缺陷,作为 RPO/RTO 承诺的唯一依据,并回馈预案修订。

9.3 备份、容灾与安全事件的交叉 ​

备份还服务于一类容灾不覆盖的场景:勒索与恶意篡改、内部误操作、逻辑缺陷批量污染。这类事件的恢复不是“切到副本”(副本可能同样被污染),而是从干净备份点重建加对账,且恢复前必须确认入侵路径已封堵——与安全事件响应流程(第 13 篇)衔接。审计存储的 WORM 属性在此尤为关键:它是唯一可能幸存的、未被篡改的事实来源。


10. 混沌演练 ​

架构声明的高可用与真实的高可用之间,只隔着故障注入。混沌演练的目标不是“证明系统不会挂”,而是在受控条件下验证:声明的故障域真实存在、声明的降级路径真实生效、声明的恢复协议真实可执行。

10.1 五个核心剧本 ​

剧本一:模型全挂。 使全部模型端点不可用(演练环境可用故障注入代理拦截)。预期行为:在途 ModelCallRecord 进入 PENDING 或 UNKNOWN 并按对账协议处置,不出现“超时即失败”的状态跳变;备选路由按 AgentSpec 声明生效或明确无备选;降级阶梯在声明窗口内触发,新任务按 L2 至 L4 处置;恢复后无重复计费(Usage 按 producer_event_id 去重)。通过标准的关键一条:没有任何 Run 因模型不可用而被标记为业务失败终态,除非任务策略明确如此定义。

剧本二:状态库主切换。 强制状态库主切换。预期行为:写中断窗口内受理返回可重试错误而非假受理;Worker 续租失败后按 fencing 拒绝旧主与旧 epoch 的迟到提交;切换完成后接管与对账按第 5 节流程完成;无重复 Step、无重复外呼。度量:写中断窗口长度、接管时间分布、fencing 拒绝事件数。

剧本三:单区失效。 隔离或下线一个可用区的全部实例。预期行为:路由与负载均衡将流量收敛到存活区;状态多数派继续服务(验证多数派确实跨区);故障区承载的 Run 完成批量接管;受理可用性与推进恢复时间达到声明口径;存活区容量不发生过载级联。这个剧本同时验证 N 减一容量假设——很多平台正是在这里发现“规划里的冗余”其实不存在。

剧本四:执行池故障。 使某类执行后端(Sandbox 池或浏览器池)整体不可用。预期行为:该类 SUBMITTING 记录进入 UNKNOWN 并对账;适配器注册表标记能力不可用,Harness 不再规划该类工具或触发能力级降级;其他类型执行不受影响;池恢复后 PREPARED 记录按末端门禁重新领取,不出现绕过门禁的直接外呼。

剧本五:消息积压。 暂停事件消费方制造积压。预期行为:Outbox 行累积并触发发布延迟告警,状态提交不受影响(事实在库不在队);恢复消费后幂等消化重复投递,无重复逻辑 Step 与重复副作用;积压洪峰不击穿下游(消费并发有界)。该剧本验证的是第 3.6 节的论断:队列故障损失时效,不损失事实。

10.2 通过标准 ​

所有剧本共用一组硬标准,任一条不满足即判定不通过:

标准判定方式
无重复外部副作用ExecutionRecord 数量与外部系统记录核对
无事实丢失受理、提交、Outbox 与账本完整性核对
UNKNOWN 全部进入对账无“超时自动转失败”的状态跳变
fencing 生效旧 epoch 提交被拒绝且留下事件
安全控制未被绕过降级窗口内授权、审批、出口控制记录完整
恢复口径达标接管时间、恢复成功率按第 5 节口径度量
无跨 Cell 传播非故障 Cell 的错误率与队龄无异常上升

10.3 演练安全 ​

生产环境演练必须控制爆炸半径:选择低峰窗口或专用演练 Cell;注入点可一键回滚;演练前确认备份有效(演练本身不应成为事故源);涉及真实外部系统的剧本用影子目标或演练专用端点替代。演练产生的 UNKNOWN 与对账是预期产物,但应打标隔离,避免混入真实运营案件。

10.4 频率与发布准入挂钩 ​

触发演练要求
平台重大版本发布通过剧本二与剧本三,作为发布准入证据
新执行后端接入通过剧本四的单后端版本
新模型路由接入通过剧本一的降级路径验证
状态复制方式变更通过剧本二加数据丢失范围测量
常态化核心剧本按季度轮转,全链路演练按年

把演练结果变成发布门禁的一部分,回答的是第 0 篇提出的生产准入问题:生产级不是由架构图的复杂度证明的,而是由故障条件下的行为证明。 演练报告(场景、时间、度量、缺陷、修复)与版本一起归档,成为可审计的准入证据链。


11. SLO 体系 ​

SLO 把前述全部机制压缩为可运营的数字契约。Agent 平台的 SLO 必须分阶段定义,因为“平台可用”在不同阶段意味着完全不同的事。

11.1 五个核心 SLO ​

SLO测量边界成功判据失败归因要点
受理可用性请求到达到持久受理或明确拒绝在声明时延内返回受理结果或可重试错误区分状态库故障、路由故障与调用方错误
调度可用性Run 可运行到 Worker 取得 lease在声明时延内完成调度区分队列积压、容量不足与 lease 竞争
执行成功率Run 推进到技术验证通过按平台归因口径计算剔除业务拒绝、模型质量与用户取消
恢复成功率故障 Run 接管到可安全推进恢复验证五项全部通过区分接管失败、对账未决与版本不兼容
交付成功率DeliveryRecord 提交到满足交付政策达到政策要求的证据等级区分渠道故障与平台侧故障

五个 SLO 的设计要点:

事实来源是账本,不是遥测。 受理结果来自 Task 事实,调度来自 lease 事件,执行与交付来自 Run 与 DeliveryRecord 状态,恢复来自对账与验证事件。第 3.10 节的规则在此闭环:遥测故障时 SLO 报表可以延迟,SLO 事实不受影响。

执行成功率必须做归因切分。 Agent 任务的失败天然混杂三类原因:平台故障(接管失败、状态异常)、模型与内容原因(输出不达标、验证失败)、业务原因(验收拒绝、用户取消)。把三者混在一个成功率里,结果要么是平台为模型质量背锅,要么是平台故障被业务失败淹没。建议以“平台归因执行成功率”为发布门禁指标,全口径成功率作为产品指标另行观察。

恢复成功率以对账为口径。 与第 5.4 节一致:拿到 lease 不算恢复,恢复验证通过才算;长期滞留裁决且无处置的计为未恢复。这个口径让“恢复能力”无法被表面数字粉饰。

交付成功率保持 ResultSelection 语义。 交付失败的重试仍引用既定 Selection(第 2 篇约定),SLO 统计按 delivery_intent 去重,避免同一交付意图的重试被重复计数。

11.2 错误预算 ​

每个 SLO 的目标值与统计窗口确定后,错误预算即目标与百分之百之间的差额。运营规则:

  • 预算消耗速率比余额更重要。 短时间内快速消耗(即使余额尚存)说明系统处于不稳定态,应提前触发冻结,而不是等耗尽;
  • 预算与降级阶梯联动。 第 6.2 节已把错误预算消耗速率列为降级触发信号:预算加速消耗时自动降档,是比人工判断更快更一致的响应;
  • 租户维度分设。 大租户的预算独立核算,避免单租户的异常流量烧掉全局预算后牵连所有租户——这与 Cell 的隔离目标一致。

11.3 发布门禁 ​

SLO 与错误预算最终要咬合到变更管理:

门禁条件说明
错误预算未耗尽耗尽时仅允许修复类变更
相关混沌剧本通过见第 10.4 节的触发映射
恢复 SLO 无劣化趋势接管时间与对账消解时间的回归比较
失败语义声明完整新增控制点的 fail 行为已登记并可演练

门禁的意义在于把可靠性从“事后复盘话题”变成“事前准入条件”:没有演练证据的容灾方案不能上线,没有失败语义声明的网关不能进主链,没有归因口径的成功率不能用来宣布“稳定运行”。


12. 常见反模式 ​

编号反模式后果正确做法
1把 lease 失效当作远端动作失败,接管后直接重试重复不可逆副作用Lease 失效只是接管信号,先对账在途再推进
2用单一数字承诺全局 RPO 与 RTO承诺与真实能力脱节,事故时失信按故障范围分别定义,数字来自实测演练
3声称事件溯源或 Outbox 自动等于 RPO 零异步复制下尾部事实照样丢失RPO 由提交与复制方式决定,显式声明
4降级时关闭授权校验或内容治理“保可用”可用性事件升级为安全事件降级收缩自治,不收缩安全控制
5控制面故障时运行面自动放宽版本或权限校验撤销与治理失效,攻击面扩大凭签名缓存运行,向严格方向处置
6Cell 故障时自动把租户切到邻近 Cell二次故障与容量级联按预案逐租户评估容量并显式疏散
7备份从未演练,恢复时才发现不可用最后防线失效分级演练,实测记录作为唯一承诺依据
8区域切换不评估数据丢失范围直接执行丢失窗口内的责任无人认领切换前评估,丢失按预案化流程处置
9授权点 fail-open 使用过期策略缓存已撤销权限继续生效敏感控制点永不使用 stale 判定
10遥测与业务事实共用管道,遥测积压阻塞状态提交观测故障转化为事实故障关键事实走独立耐久通道,遥测 fail-open
11把拿到 lease 记为接管完成恢复 SLO 虚假繁荣,长尾对账失控以恢复验证通过与在途对账为口径
12混沌演练只在测试环境做,且不与发布挂钩生产行为从未被验证受控生产演练,结果作为发布准入证据

13. 生产验证场景表 ​

以下场景应纳入发布准入与常态化演练,预期结果均可由账本与事件序列客观核对:

验证场景预期结果
单 Worker 崩溃且持有未决 UNKNOWN接管者读取记录并对账,不盲重试,不复用失败假设
两个 Worker 因误判短暂双活旧 epoch 的状态提交与新动作被 fencing 拒绝并留痕
模型全部端点不可用在途调用对账,降级阶梯触发,无超时即失败的状态跳变
策略引擎不可用敏感动作 fail-closed 并产生耐久拒绝事件,低风险按声明缓存处置
凭据代理不可用新外部动作暂停,无长期凭据回退,已签发凭据到期自然失效
状态库主切换写中断窗口内无假受理,切换后接管与对账完成,无重复 Step
单可用区整体失效存活区吸收流量,批量接管完成,非故障 Cell 无异常上升
执行池整体故障该类能力降级,UNKNOWN 对账,恢复后按门禁重新领取
消息消费停滞造成积压Outbox 不丢事实,恢复后幂等消费,无重复副作用
控制面不可用Cell 凭签名缓存版本运行,无自动扩权,撤销不可确认时向严格处置
从备份恢复到指定时间点恢复点校验通过,恢复后对账启动,Finalization 门禁保持非终态裁定
区域切换演练丢失范围可测量,切换后受理与推进按口径恢复,回切经差异对账
降级期间收到高危动作请求按当前等级强制审批或拒绝,授权与审计完整
降级恢复期逐级升级,每级观察窗口通过,对账清零后才回到 L0
错误预算耗尽非必要变更被冻结,仅修复类变更放行并有记录

14. 架构评审清单 ​

故障域与影响面 ​

  • 五层故障域是否逐一识别,横切共享依赖是否列全?
  • 每项恢复机制是否位于被恢复对象的故障域之外,或有声明的退化行为?
  • 影响面是否以 Task、Run、ExecutionRecord 的表达落地?

依赖故障与失败语义 ​

  • 九类依赖是否各有默认行为、降级策略与禁止动作的声明?
  • 每个控制点的 fail-open/fail-closed 语义是否登记、可查、被演练验证?
  • 授权、许可、撤销类控制点是否全部 fail-closed 且拒绝产生耐久事件?
  • 审批超时是否默认拒绝,是否存在任何“自动通过”路径?

接管与恢复 ​

  • lease 检测的 TTL 与扫描周期是否权衡过误判成本?
  • 接管是否严格执行读历史、对账在途、决定出口?
  • 恢复 SLO 是否以可安全推进与对账完成为口径,而非拿到 lease?
  • 延迟命令是否按 ExecutionRecord 与 authorized_epoch 校验?

降级阶梯 ​

  • L0 至 L4 的触发条件、决策权限、恢复条件是否成文?
  • 降级是否保持全部安全控制生效?
  • 恢复是否逐级进行并带观察窗口与对账清零条件?
  • 降级与安全档位 S0 至 S3 的联动矩阵是否存在?

Cell 架构 ​

  • 租户与 Task 归属是否有权威路由,且在途不迁移?
  • Cell 内是否闭环受理、调度、执行、状态、队列与对账?
  • Cell 故障是否不自动疏散、不自动扩权?
  • 控制面是否只分发签名版本与策略,且自身变更受灰度与回滚约束?

多可用区与容灾 ​

  • 部署处于哪个能力层级,边界是否声明(例如多数派丢失时只读或拒绝)?
  • 状态复制方式与 RPO 的关系是否如实表述,是否存在静默降级异步?
  • 区域切换是否有决策权限、丢失评估与回切对账流程?
  • 切换与回切是否经过真实演练?

备份与演练 ​

  • 权威状态、Outbox、产物、审计、控制面数据是否各有备份策略与保留声明?
  • 备份是否定期做沙箱恢复与时间点恢复演练?
  • 五个核心混沌剧本是否覆盖当前架构,通过标准是否含无重复副作用与 fencing 生效?
  • 演练结果是否作为发布准入证据归档?

SLO 与门禁 ​

  • 五个核心 SLO 的测量边界与归因口径是否明确?
  • SLO 事实是否来自权威账本而非普通遥测?
  • 错误预算是否与变更冻结、降级阶梯联动?

15. 本篇结论与后续专题 ​

高可用不是组件冗余的副产品,而是一组显式协议的运行结果。本篇的结论可以归纳为六条主线:

故障域先于可用性承诺。 实例、可用区、区域、依赖服务、控制面五层故障域各有影响面,恢复机制必须位于被恢复对象的故障域之外;横切的共享依赖不受 Cell 与可用区隔离保护,必须单独治理。

依赖故障有矩阵,控制点有失败语义。 九类依赖的默认行为由事实属性、放行后果、可纠错性与保护对象四要素推导:授权与敏感出口 fail-closed 并留下耐久拒绝事件,非关键遥测 fail-open 且有界,审批超时默认拒绝;失败语义必须声明、可查、被演练验证。

恢复是度量出来的能力。 接管时间拆为检测、竞争、装载、对账、决策五段,恢复成功率以对账完成为口径;Lease 失效只是接管信号,不是动作失败的证据。

降级收缩自治,不收缩安全。 L0 到 L4 的阶梯有明确的触发、决策与恢复协议,逐级降、逐级回,每一级都完整保留授权、审批与审计。

Cell 切小爆炸半径,控制面只分发事实。 租户与 Task 归属 Cell,Cell 内闭环运行;跨 Cell 控制面只分发签名版本与策略,故障时不自动扩权、不自动疏散。

容灾与备份按事实纪律表述。 RPO 由提交与复制方式决定,事件溯源与 Outbox 不自动提供零丢失;多可用区、同城与异地按能力层级声明边界;承诺数字只来自本平台的演练实测;备份必须演练,恢复后必须对账。

当每个故障域都有域外的恢复机制,每个依赖都有声明的失败语义,每次降级都保留安全控制,每次切换都经过演练与对账,Agent 平台才能在模型会超时、机房会断电、供应商会宕机的现实世界里,把“任务会继续被负责任地推进”作为可验证的承诺。

下一篇进入运营视角:可观测、审计、评测与 FinOps——本篇的 SLO 事实来源、审计耐久性与错误预算,将在那里展开为完整的运营闭环。


参考资料 ​

以下均为官方资料。动态文档会持续更新,实际实现应固定所采用的版本与访问日期。

  1. Google SRE Workbook: Service Level Objectives
  2. Google SRE Workbook: Managing Incidents
  3. Google SRE Book: Availability Table
  4. OWASP Top 10 for Agentic Applications for 2026
  5. Temporal Worker Failure and Replication
  6. PostgreSQL Continuous Archiving and Point-in-Time Recovery
  7. CloudEvents Specification
  8. Amazon Bedrock AgentCore Runtime
  9. Google ADK Event Loop
  10. LangGraph Durable Execution