敏感工作负载与普通业务共用节点时,即使它们运行在不同 Pod 中,仍会共享节点操作系统、容器运行时和部分系统组件。把敏感业务迁入专用节点池,可以缩小普通工作负载与其共驻的机会,也便于针对节点实施差异化维护;但这是一项调度控制,不是独立的安全边界,不能替代权限、网络和运行时防护。
这种做法适合已经能识别敏感工作负载、具备独立容量预算,并能调整部署清单和节点池配置的集群。实施前应确认业务对中断的容忍度:强制节点亲和性会让容量不足时的 Pod 保持 Pending,而不是自动回退到普通节点。下面以 Deployment 为例,按准备、实施、验证和复盘完成一次可回退的变更。

准备:盘点对象、容量与控制权限
先确定隔离对象和维护窗口,并记录变更前状态。至少需要回答四个问题:
- 哪些工作负载需要迁移? 列出命名空间、控制器、当前副本数、资源请求、持久卷约束和中断预算。检查关联的 Job、定时任务及其他控制器,避免只迁移主 Deployment。
- 专用池是否有足够容量? 按 Pod 的资源请求、系统组件开销和故障时的剩余容量评估,而不是只看当前使用率。还要核对节点规格、可用区和存储拓扑能否满足约束。
- 哪些系统组件需要留在专用节点? 清点网络、存储、日志和监控等 DaemonSet 的容忍配置及运行状态。不要为了让组件运行而给所有业务工作负载添加宽泛容忍。
- 谁能改变调度条件? 节点标签、污点,以及 Pod 的容忍和亲和性都需要受控。能随意设置容忍或直接指定节点的主体,可能绕过预期的专用池使用规则。
以下命令可作为基线;将命名空间和控制器名称替换为实际值:
kubectl get nodes -o wide --show-labels
kubectl describe nodes
kubectl get pods -A -o wide
kubectl get daemonsets -A
kubectl -n secure-app get deployment sensitive-api -o yaml > sensitive-api.before.yaml
kubectl -n secure-app get pods -o wide
kubectl -n secure-app get pdb同时保存节点池在云平台或基础设施即代码中的原始配置。对托管节点池,仅修改现有节点对象可能无法覆盖后续新建或替换的节点;应确认节点池支持怎样的持久化标签和污点配置。
选择受保护的节点标签
示例使用 example.com.node-restriction.kubernetes.io/sensitive=true 标识专用节点。使用这类标签作为安全相关调度依据前,须确认集群使用 Node authorizer 并启用 NodeRestriction 准入插件,否则不能依赖该机制限制 kubelet 修改标签。具备相应节点修改权限的其他主体仍须通过 RBAC 等方式约束。配置前可核对 Kubernetes 官方节点分配文档中的节点隔离要求。
| 控制项 | 本次作用 | 单独使用的不足 |
|---|---|---|
| 节点标签与必需节点亲和性 | 要求敏感 Pod 只调度到指定节点 | 不能阻止普通 Pod 进入这些节点 |
NoSchedule 污点 | 排斥不具备匹配容忍的新 Pod | 不会清走节点上已经运行的 Pod |
| 匹配容忍 | 允许敏感 Pod 通过该污点检查 | 容忍不等于指定节点,也不保证调度成功 |
实施:建立专用池并迁移工作负载
1. 配置节点标签和污点
优先在新建的专用节点池中配置,并确认池内每个节点都继承配置。下面的命令展示对单个节点的操作;实际执行前应核对节点名称,逐台或通过平台配置应用:
NODE=sensitive-node-1
kubectl label node "$NODE" \
example.com.node-restriction.kubernetes.io/sensitive=true
kubectl taint node "$NODE" \
dedicated=sensitive:NoSchedule在已有普通业务的节点上添加 NoSchedule 不会迁走现存 Pod。若必须复用节点,应先评估业务中断和 DaemonSet 行为,按维护流程逐台疏散并检查剩余 Pod;不要把“污点已存在”等同于“节点已清空”。
2. 为敏感工作负载配置双向约束
将以下片段合并到 Deployment 的 spec.template.spec 中,保留原有容器、服务账号、资源请求及其他调度条件:
tolerations:
- key: dedicated
operator: Equal
value: sensitive
effect: NoSchedule
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: example.com.node-restriction.kubernetes.io/sensitive
operator: In
values:
- "true"匹配容忍使 Pod 可以通过专用节点的污点检查;必需节点亲和性限制它只能选择带指定标签的节点。两者一起使用,才分别覆盖“敏感业务进入专用池”和“未获容忍的业务不能新调度进入”的目标。
更新 Pod 模板会触发 Deployment 滚动更新。先在测试环境验证,再根据副本数、maxUnavailable、maxSurge、就绪探针和实际容量安排灰度。对于单副本、状态型或严格依赖存储拓扑的业务,应单独制定迁移与恢复步骤,不宜直接套用 Deployment 滚动策略。
kubectl -n secure-app apply -f sensitive-api.yaml
kubectl -n secure-app rollout status deployment/sensitive-apiIgnoredDuringExecution 也意味着:节点之后失去该标签,并不会仅凭这条亲和性自动驱逐已经运行的 Pod。因此,标签漂移需要监控和人工处置。
验证:同时检查正向、反向和故障路径
验证应在授权的测试命名空间和维护窗口内进行,记录命令输出、事件、时间和操作者。不要只看 Deployment 显示成功,还要检查每个 Pod 的实际节点以及节点上的其他工作负载。
正向:敏感工作负载是否落在专用池
kubectl get nodes \
-l example.com.node-restriction.kubernetes.io/sensitive=true \
-o wide
kubectl -n secure-app get pods -o wide
kubectl -n secure-app describe pod <敏感Pod名称>将 Pod 的 NODE 与带标签的节点清单逐一比对,并检查应用就绪状态、服务端点和关键业务请求。Pod 若处于 Pending,查看事件中是否有污点不匹配、节点亲和性不匹配、资源不足或卷拓扑等原因;不要通过临时删除约束掩盖问题。
反向:普通工作负载能否进入专用池
在测试命名空间创建一个没有专用污点容忍、但通过节点选择器要求进入专用池的测试 Pod。使用组织允许的测试镜像,且不要设置 nodeName 或使用自定义调度器绕开正常调度路径:
apiVersion: v1
kind: Pod
metadata:
name: isolation-negative-test
namespace: isolation-test
spec:
restartPolicy: Never
nodeSelector:
example.com.node-restriction.kubernetes.io/sensitive: "true"
containers:
- name: test
image: <组织允许的测试镜像>kubectl apply -f isolation-negative-test.yaml
kubectl -n isolation-test get pod isolation-negative-test -o wide
kubectl -n isolation-test describe pod isolation-negative-test预期结果是 Pod 保持 Pending,且调度事件包含专用节点污点未被容忍的原因。仅看到 Pending 不足以证明排斥生效:还必须确认不是镜像、资源或其他节点条件造成的表面结果。测试后删除该 Pod:
kubectl -n isolation-test delete pod isolation-negative-test再反向盘点专用节点上的实际 Pod,重点核查业务 Pod 是否存在意外的宽泛容忍,以及系统 DaemonSet 是否属于批准的例外。普通 Pod 若能添加匹配容忍,仍可能进入专用池;需要结合准入策略和权限治理控制谁可以声明这些配置。
故障:容量不足和节点不可用时会怎样
在非生产环境或经批准的演练窗口,模拟专用池容量不足或单节点不可用,观察:
- 敏感 Pod 是否按预期保持 Pending,而不是落到普通节点。
- 剩余节点能否承载副本,以及拓扑、存储和资源请求是否允许重新调度。
- 服务端点、错误率、延迟、Pod 重启和恢复时间是否符合业务要求。
- 节点恢复或扩容后,Pending Pod 能否正常调度,系统组件是否完整。
演练前明确停止条件和恢复负责人。不要直接关闭生产节点来代替经过审批的故障演练。
回滚与复盘:先恢复调度,再核对隔离状态
变更失败时,先判断是应用异常、容量不足还是调度条件错误。若必须恢复到原来的共享节点方案,应明确这会暂时降低节点隔离程度,并获得业务与安全负责人确认。
- 恢复工作负载模板。 使用已保存且经过核对的原始声明重新部署,或在确认修订历史对应本次变更后执行
kubectl -n secure-app rollout undo deployment/sensitive-api。 - 观察恢复过程。 执行
rollout status,检查 Pod 实际节点、就绪状态、服务端点和业务指标。原节点池也必须有足够容量及满足原有约束;回滚模板不保证 Pod 一定能立即调度。 - 处理专用池配置。 确认已无工作负载依赖后,再通过节点池或基础设施配置恢复标签和污点。若最初直接修改了节点,可对已核实的节点移除本次配置:
kubectl taint node sensitive-node-1 dedicated=sensitive:NoSchedule-
kubectl label node sensitive-node-1 \
example.com.node-restriction.kubernetes.io/sensitive-- 核对最终状态。 检查节点池新建节点的配置、现有 Pod 分布和异常事件,避免平台配置与节点现场状态不一致。
复盘时保留变更前后节点清单、调度事件、正反向测试结果和故障演练记录。后续应持续检查新节点是否继承标签与污点、敏感 Pod 是否漂移、普通工作负载是否获得了不应有的容忍,以及专用池在节点故障时是否仍有余量。
最后,节点隔离只能约束正常调度位置。敏感业务仍需要最小权限的服务账号与节点访问控制、适当的网络策略、镜像和运行时防护,以及对高风险共享组件的持续审查;当威胁模型要求更强隔离时,还应评估独立集群或其他隔离边界。
- it2021
- it2021.com
- Kubernetes
- test
- 访问控制





1F
节点替换后标签继承这点很容易漏
2F
容量不够时宁可等待也别悄悄回退