07 高并发流式平台 → Agent 任务编排:三层分离与事件驱动
系列:云基础设施 → Agent 执行层:能力迁移 · 第 7 篇 定位:编排与吞吐域(03 状态篇的并发视角 + 01 调度篇的吞吐视角) 前置阅读:总纲 · 01 K8s 资源模型 · 03 状态外置
迁移核心问题:把 Agent 任务当流处理作业,高并发平台的全部内功——分区、背压、水位线、幂等、事件溯源、CAS——都能找到新的用武之地;变化的是流速单位从 events/sec 变成了 LLM 调用/秒,瓶颈从 CPU 变成了 token 预算。
摘要
一个支撑 30W events/sec 的流式计算平台,其架构能力清单与 Agent 任务编排的需求高度重合:Harness-Runtime-Execution 三层分离回答"编排在哪、执行在哪",RunEvent 事件溯源 + CAS 乐观锁回答"状态怎么管、并发怎么裁",分区亲和与背压回答"高密度会话怎么吞吐"。本篇给出流式平台五项内功到 Agent 编排层的迁移改造,并处理一个反直觉的新事实:Agent 平台的吞吐瓶颈不在计算而在模型调用配额——这颠倒了流式平台所有优化优先级。
1. 当年的机制:高并发流式平台的五项内功
以一个安全计算场景的流式平台为例(单服务 30W events/sec,ASI + K8s 混合云):任务以事件流形式持续到达,计算任务在弹性隔离的执行环境中完成,结果回流下游。
1.1 三层分离:Harness / Runtime / Execution
| 层 | 职责 | 不做什么 |
|---|---|---|
| Harness(编排) | 任务受理、生命周期管理、并发仲裁、对外契约 | 不执行任何计算 |
| Runtime(运行时) | 会话状态、循环驱动(如 Agent Loop 的调度)、上下文管理 | 不感知业务语义 |
| Execution(执行) | 具体动作:工具调用、沙箱执行、外部副作用 | 不做任何决策 |
三层分离的价值在故障域:编排层崩溃不丢任务(状态在外,03 篇),执行层崩溃可重派,运行时崩溃可恢复。这是把"编排骨架"与"执行血肉"解耦的系统化表达——恰好是 Agent 平台 2026 年仍在补的课。
1.2 RunEvent 事件溯源 + CAS 乐观锁
状态变更以 RunEvent 追加写(03 篇已迁移到 Checkpoint 设计);并发推进同一任务时用 CAS 裁决——版本冲突的败者读新状态后重试。吞吐与一致性的平衡点:不阻塞、不全局锁,冲突概率随竞争密度自然升高,由重试预算兜底。
1.3 分区亲和与会话粘性
按事件 key(会话/租户)一致性哈希分区:同 key 事件路由到同 worker,状态访问局部化(免分布式锁);worker 缩容时分区迁移走"先移交状态、再切流量"的协议。
1.4 背压与水位线
上游生产快于下游消费时,反压沿 pipeline 逐级传导(拒绝/降级/缓冲三级响应);乱序事件用水位线(watermark)定义"迟到容忍窗口",超窗数据走旁路(侧道输出)单独处理而不是阻塞主流。
1.5 幂等与副作用控制
at-least-once 投递 + 幂等消费是标配:每条事件带唯一 ID,执行端去重表拦截重复;对外部副作用(写库、发通知)包装幂等键——重试是平台的权利,幂等是平台的义务。
2. Agent 时代:任务编排就是新的流处理
2.1 形态同构
Agent 平台的负载结构:任务受理(流式到达)→ 编排决策(DAG/循环)→ 工具执行(外部副作用)→ 结果回流(事件)。与流平台的作业结构逐项对齐:
| 流式平台概念 | Agent 平台对应物 | 迁移难度 |
|---|---|---|
| event | 任务事件(受理/状态迁移/工具结果/完成) | 直接复用 |
| 作业 key / 分区 | 会话 ID / 任务 ID(一致性哈希分区) | 直接复用 |
| 作业拓扑 DAG | Agent 任务计划(Plan DAG / 多 Agent 协作图) | 结构同构,语义新增 |
| 水位线 / 迟到窗口 | 多 Agent 并行子任务的汇合点(barrier 对齐) | 语义升级 |
| 背压 | LLM 调用配额耗尽 / 下游工具限流 | 单位变了(见 2.2) |
| 幂等键 | 工具副作用幂等(03 篇"已完成清单"的底层机制) | 直接复用 |
2.2 反直觉的新事实:瓶颈从 CPU 变成配额
流式平台的吞吐优化史全部围绕 CPU/内存/IO(示例:Go 标准库 json 解码在高 QPS 下成为瓶颈,换专用解码器+对象池后单服务吞吐上一个数量级)。Agent 平台的瓶颈图谱完全不同:
| 资源 | 流式平台 | Agent 平台 | 优化哲学变化 |
|---|---|---|---|
| 计算密度 | 主瓶颈 | 几乎不是瓶颈(LLM 侧) | 从"压榨单核"变为"编排开销最小化" |
| 外部配额(token/调用数) | 无此概念 | 头号瓶颈 | 新增一级"配额调度器" |
| 尾延迟 | P99 重要 | LLM P99 = 30s+ 是常态 | 重试预算与超时哲学全部重写 |
| 成本结构 | 资源利用率 | 每 token 真金白银 | 吞吐目标从"快"变为"单位成本产出最大" |
推论:Agent 平台需要流平台没有的新组件——配额池与优先级(哪些会话的 token 请求优先满足)、模型降级链(配额紧张时从强模型滑向弱模型,保吞吐牺牲深度)、预算感知编排(在 DAG 编排时预估 token 成本,砍掉低价值分支)。FinOps 从运维问题升格为编排器的一等输入。
2.3 背压的新形态:三级响应的迁移
流平台的三级背压(拒绝/降级/缓冲)迁移为 Agent 版:
- 拒绝:新任务进等待队列(用户可见"排队中"),交互式优先、批处理垫后(01 篇 QoS 的流量面对偶);
- 降级:模型降级链 + 工具结果缓存命中(相似检索免重复调用)+ 计划剪枝(砍并行度);
- 缓冲:请求入库 + 事件溯源(03 篇),恢复时按水位线决定从哪一步续跑。
3. 迁移改造:五项内功的逐项落地
3.1 三层分离 → Agent 编排架构
直接映射:Harness = 任务受理与生命周期(受理门禁、ResultSelection、终态门禁——主系列第 2 篇的业务闭环),Runtime = Agent Loop 驱动器(ReAct 循环、上下文管理、Checkpoint 触发),Execution = 工具/沙箱执行(04 篇)。迁移要点:Agent Loop 是有状态循环,所以 Runtime 层是 01 篇"长脉冲负载"的宿主——三层里只有 Runtime 需要会话亲和(分区键 = 会话 ID),Harness 无状态可任意扩展,Execution 无状态可任意重派。一个平台如果 Harness 和 Runtime 混在一起(常见错误:把编排决策写进 Loop 代码),则扩容时被迫复制全量状态——这是 L1 平台的高频架构缺陷。
3.2 CAS → 多 Agent 并发仲裁
03 篇已给出 RunEvent + CAS 的状态层设计;本篇补充编排层视角:Supervisor 模式下多个子 Agent 并发推进、汇合点写汇总结果时,CAS 裁决胜者、败者不重算而是提交增量(汇总场景)或分叉任务(协作场景)。流平台里 CAS 冲突是异常路径(竞争密度低),Agent 场景 CAS 冲突是正常路径(子 Agent 天然并行)——重试预算、指数退避、冲突监控告警要按"高频冲突"设计,而不是照搬流平台的低频假设。
3.3 分区亲和 → 会话路由
会话 ID 一致性哈希路由到 Runtime worker;worker 缩容时状态先移交(Checkpoint 推送到共享存储,03 篇)再切流量。新增约束:分区迁移的窗口必须小于交互式会话的感知阈值——否则用户会看到"卡在转圈"。流平台迁移分区可以慢慢来(吞吐优先),Agent 平台迁移必须快(延迟优先)——同一个机制,SLA 哲学反转。
3.4 水位线 → 多 Agent 汇合与超时策略
并行子任务(扇出 N 个子 Agent)的汇合点即 barrier:可以等齐(AND 汇合,水位线式)也可以带超时(XOR 汇合,超时者结果丢弃走旁路)。流平台的水位线机制直接迁移为汇合点策略库:AND / OR(k of n) / 超时降级(超时子任务结果作废,主流程用已有结果继续)——迟到的子任务结果走侧道输出(事后补充进决策日志,不阻塞主流程)。这比"全等或全弃"的二值策略精细一个量级。
3.5 幂等 → 工具调用去重
工具调用幂等键 = 任务 ID + 步骤 ID + 参数哈希;执行端去重表拦截重复调用(重试风暴、CAS 败者重放、恢复重跑三种来源的重复)。对外副作用(发邮件、写库)包装幂等键——03 篇"未补偿副作用检查"的机制基础。注意幂等窗口与 Checkpoint 边界对齐:跨 Checkpoint 恢复后的重放,其幂等键不变(步骤 ID 稳定),才能命中去重表。
4. 吞吐优化的优先级重排
流平台的优化清单(序列化、对象池、内存布局、批处理、零拷贝)没有作废,但优先级让位:
- 配额调度(新王):模型调用配额的分配、抢占、降级链——省一个百分点的浪费调用,胜过优化十个百分点计算;
- 缓存与复用(新贵):工具结果缓存、prompt 前缀缓存(KV cache 复用)、相似会话的记忆命中(03 篇长期记忆层)——每都是真金白银;
- 编排开销(老将):事件溯源写入、CAS 往返、路由跳数——这些"平台税"在 30W eps 量级是用内存布局抠出来的,在 Agent 量级用普通优化即可达标;
- 批处理(变形):LLM 批量推理 API 的窗口拼接——流平台的"攒批"直觉直接复用,但批的维度从"同 key 事件"变为"可合并的独立请求"。
一个务实的判断:从流平台迁移过来的工程师,最大的心智陷阱是在计算优化上过度投入——因为那是他最熟练、最有成就感的领域;而 Agent 平台的成本大头在配额与缓存,算力优化属于"最后一公里"。
5. 迁移清单
- 编排架构是否三层分离(Harness/Runtime/Execution),且只有 Runtime 持会话亲和、其余无状态可扩展?
- 是否存在配额调度器一级组件(分配/抢占/降级链/预算感知编排)?
- CAS 冲突是否按"高频正常路径"设计(重试预算、退避、冲突监控)?
- 会话分区迁移是否满足交互式延迟 SLA(状态先移交再切流)?
- 并行汇合是否支持策略库(AND / k-of-n / 超时降级 + 侧道输出)?
- 工具调用是否幂等键化(任务+步骤+参数哈希),且幂等窗口与 Checkpoint 边界对齐?
- 优化投入配比是否承认"配额与缓存 > 编排开销 > 算力优化"的优先级?
- 事件溯源日志是否同时服务状态恢复(03 篇)与吞吐审计(单位成本产出核算)?
6. 结语:从压榨算力到经营配额
流式平台十年积累的内功,在 Agent 编排层几乎全部适用——分区、背压、水位线、幂等、CAS、三层分离,机制层面照单全收。需要重写的只有两件事:瓶颈的定义(算力让位于配额)与延迟的哲学(吞吐让位于会话体验)。这再次印证本系列的方法论:坑的形状是旧坑,但填坑的优先级是新的。对做过高并发平台的工程师,迁移的起点不是学新框架,而是承认"你最擅长的优化,已经不是最值钱的优化"。
系列:总纲 | 01 K8s 资源模型 | 02 FaaS 冷启动 | 03 状态外置 | 04 多租户隔离 | 05 东西向治理 | 06 身份治理与鉴权 | 07 任务编排 | 08 高可用与韧性
姊妹系列:生产级 Agent 平台架构 2026