01 K8s 资源模型 → Agent 会话调度
系列:云基础设施 → Agent 执行层:能力迁移 · 第 1 篇 定位:调度与资源域 前置阅读:总纲
迁移这一篇回答一个问题:K8s 的资源模型和调度器,哪些可以直接搬进 Agent 平台,哪些必须改。
摘要
kube-scheduler 的资源模型是给"稳态微服务"设计的:静态 requests、月级生命周期、崩溃即重启。Agent 会话的画像形状(长脉冲)、生命周期(小时级生灭)、失败语义(崩溃 = 状态损失)、瓶颈位置(内存)四个维度全部变形,要求平台在 QoS 分级、超卖率和调度成本函数上做系统性改造。本文给出五处迁移设计:相位资源契约、QoS 绑定会话价值、状态亲和与相位干涉调度、内存超卖保守化、驱逐-恢复闭环。
1. 当年的机制:K8s 资源模型的四个支柱
1.1 requests / limits 与 QoS 分级
K8s 用 requests(调度依据)与 limits(运行时上限)两个数字描述每个 Pod 的资源画像,组合出三个 QoS 等级:
| QoS 等级 | 判定条件 | OOM 杀戮顺序 | 驱逐优先级 |
|---|---|---|---|
| Guaranteed | requests == limits(CPU 与内存皆然) | 最后 | 最后 |
| Burstable | requests < limits | 中 | 中 |
| BestEffort | 无 requests/limits | 最先 | 最先 |
这个设计的精髓:用声明式画像换取集群级超卖能力。节点可以超额放置(Bin Packing),靠 QoS 分级保证过载时牺牲顺序是确定性的。
1.2 调度框架与扩展点
kube-scheduler framework 把一次调度决策拆成 11 个扩展点(Filter → Score → Reserve → … → Bind),每一环都可以用插件替换。生产平台最常动两环:Filter(预选,硬约束)与 Score(优选,软约束打分:Bin Packing 倾向、镜像已存在节点优先、拓扑打散)。
1.3 优先级与抢占
PriorityClass 给 Pod 一个全局优先级;资源不足时高优先级 Pod 可以驱逐低优先级 Pod(抢占),被抢占者进入 Pending 重调。这让"重要负载永远有位置"成为集群契约。
1.4 超卖与密度
节点利用率 = Σrequests / 节点容量是调度视角,实际利用率是运行时视角,两者差值就是超卖空间。FaaS 厂商把超卖率做成核心竞争力,本质是回答"什么负载可以互相叠在一台机器上"。
2. Agent 会话的资源画像:四个与微服务的根本差异
| 维度 | 稳态微服务 | Agent 会话 | 对资源模型的冲击 |
|---|---|---|---|
| 画像形状 | 平稳波动,requests 一次设定长期有效 | 长脉冲:思考期近零 CPU,工具执行期突发高负载 | 静态 requests 要么浪费(按峰值设)要么误杀(按均值设) |
| 生命周期 | 常驻月级,滚动升级 | 小时~天级,随任务生灭 | Pod 生灭频率高一个数量级,调度吞吐成为新瓶颈 |
| 失败语义 | 崩溃重启,无状态损失 | 崩溃 = 会话中断,恢复走 Checkpoint | 抢占代价从"重启延迟"升级为"状态恢复成本" |
| 瓶颈位置 | CPU/带宽 | 内存(上下文窗口驻留)+ 外部 LLM 延迟 | 内存超卖策略成为密度上限的决定因素 |
长脉冲负载对调度器是最恶劣的输入:调度器在 Filter 阶段看到的 requests 是"平均值谎言",运行时的突发脉冲会在节点上叠加——如果多个会话的工具执行阶段恰好对齐(例如都在整点做批量扫描),瞬时峰值可以击穿节点。
3. 迁移方案:五处系统性改造
3.1 requests 语义改造:从静态画像到相位画像
微服务一个 Pod 一组 requests;Agent 平台应给会话建立相位(phase)感知的资源契约:
# 伪代码:Agent 会话的资源画像
phases:
thinking: # LLM 推理期:近零 CPU,内存驻留上下文
cpu: 50m
memory: 1Gi
tool_exec: # 工具执行期:突发负载
cpu: "2" # 8 倍于 thinking
memory: 3Gi
io_wait: # 等待 LLM 响应
cpu: 10m
memory: 1GiK8s 原生不认识相位,两条落地路径:(a) 相位切换时动态调 limits(配合 Burstable QoS);(b) 更务实——把会话拆成"思考容器 + 工具执行容器"合入同一 Pod,工具执行容器按需拉起(K8s 原生 sidecar / ephemeral container 语义),让 requests 天然分层。路径 (b) 不改调度器,优先推荐。
3.2 QoS 分级迁移:按会话价值而非资源声明
微服务的 QoS 由 requests/limits 声明方式决定;Agent 平台应把 QoS 与会话价值绑定:
- 交互式会话(用户在等)→ Guaranteed:内存 requests == limits,禁止超卖放置,防 OOM 杀死正在服务人类的会话;
- 后台 Deep Research → Burstable:允许超卖,被 OOM 杀后走 Checkpoint 恢复,恢复成本可接受;
- 批处理 Agent 任务(夜间跑量)→ BestEffort + 低 PriorityClass:天然成为抢占牺牲品,白天给交互式让位。
这是"抢占机制平移 + 牺牲对象重定义":微服务时代抢占牺牲的是无状态可重启者,Agent 时代牺牲的是有状态但恢复成本低者。
3.3 调度成本函数:引入两个新维度
kube-scheduler 的 Score 阶段默认优化资源均衡或 Bin Packing。Agent 平台的调度成本函数必须新增两项:
score(node) = w1 * bin_packing(node)
+ w2 * checkpoint_affinity(session, node) # 新增
+ w3 * interference_risk(node) # 新增:节点上已有会话的相位错开度- 粘性代价:长任务会话一旦放置,迁移成本极高(上下文重建),放置决策是"一次性高价决策",Score 阶段值得花更多计算预算——与函数调度"快速决策、错了重调"的哲学相反;
- 状态亲和:会话的 Checkpoint 与记忆存在哪个存储分片/区域,调度就应倾向同拓扑的节点(见 03 篇);
- 相位干涉风险:相位对齐的会话是互相放大的炸弹。调度器应把同租户/同业务源的会话在节点上打散,或在 Score 时预测相位错开——本质是把"反亲和"从拓扑维度扩展到时间维度。
3.4 超卖策略:内存是新的主战场
CPU 超卖靠 CFS 份额兜底,天然安全;内存超卖在 Agent 场景的约束完全不同:
- 上下文窗口驻留使会话内存画像"只涨不降"(对话历史累积),长尾会话可膨胀到均值 5–10 倍;
- OOM Kill 一个跑 8 小时的会话,损失的不是重启延迟而是任务进度(恢复路径见 03 篇)。
迁移结论:CPU 超卖率可以激进(2–4×),内存超卖率必须保守(1.1–1.3×),交互式会话禁止超卖。对长尾会话做内存增量监控,超阈值触发主动 Checkpoint + 优雅迁移,而不是等 OOM。
3.5 驱逐与恢复的闭环
K8s 的驱逐是终点(Pod 死了,控制器重建);Agent 平台的驱逐必须是闭环:驱逐前强制触发 Checkpoint(preStop hook + TerminationGracePeriod 窗口),驱逐后会话调度到新节点并从 Checkpoint 恢复。这要求调度器、状态层、运行时三方共享"会话可迁移性"这个一等公民概念——K8s 原生没有这个概念,是本系列最重要的改造点。
4. 迁移清单
- 会话资源契约是否按相位建模?优先用"思考/工具双容器 + 按需拉起"而非改调度器;
- QoS 是否与会话价值绑定(交互式 Guaranteed / 后台 Burstable / 批处理 BestEffort)?
- Score 插件是否包含状态亲和与相位干涉风险两个新维度?
- 内存超卖是否与 CPU 超卖区别对待?长尾会话是否有主动 Checkpoint + 迁移预案?
- 驱逐是否构成"Checkpoint → 重调度 → 恢复"闭环,而非裸重启?
- 调度吞吐是否评估过?会话生灭频率比微服务高一个数量级,默认调度器参数需要压测。
5. 下一篇
资源模型解决了"会话放哪、给多少";但 Agent 会话生灭频率高,放好之后的第一件事就是把沙箱快速拉起来——这正是 FaaS 冷启动问题的重演。见 02 FaaS 冷启动 → Agent 沙箱供给。