Kubernetes 敏感工作负载节点隔离:专用节点池配置、调度验证与回滚

枫少@KillBoy
枫少@KillBoy
枫少@KillBoy
管理员
450
文章
0
粉丝
云原生安全21字数 2629阅读8分45秒阅读模式
AI智能摘要
敏感业务与普通工作负载共用节点,隔着容器也仍会共享操作系统和运行时;迁入专用节点池虽能减少共驻机会,却不能替代其他安全防护。文章从容量评估和权限控制出发,讲解如何组合节点标签、污点、容忍与必需亲和性,并通过正反向及故障路径验证调度效果。容量不足或配置漂移时,又该如何识别风险并安排回滚?
— AI 生成的文章内容摘要

敏感工作负载与普通业务共用节点时,即使它们运行在不同 Pod 中,仍会共享节点操作系统、容器运行时和部分系统组件。把敏感业务迁入专用节点池,可以缩小普通工作负载与其共驻的机会,也便于针对节点实施差异化维护;但这是一项调度控制,不是独立的安全边界,不能替代权限、网络和运行时防护。

这种做法适合已经能识别敏感工作负载、具备独立容量预算,并能调整部署清单和节点池配置的集群。实施前应确认业务对中断的容忍度:强制节点亲和性会让容量不足时的 Pod 保持 Pending,而不是自动回退到普通节点。下面以 Deployment 为例,按准备、实施、验证和复盘完成一次可回退的变更。

Kubernetes 敏感工作负载节点隔离:专用节点池配置、调度验证与回滚

准备:盘点对象、容量与控制权限

先确定隔离对象和维护窗口,并记录变更前状态。至少需要回答四个问题:

  • 哪些工作负载需要迁移? 列出命名空间、控制器、当前副本数、资源请求、持久卷约束和中断预算。检查关联的 Job、定时任务及其他控制器,避免只迁移主 Deployment。
  • 专用池是否有足够容量? 按 Pod 的资源请求、系统组件开销和故障时的剩余容量评估,而不是只看当前使用率。还要核对节点规格、可用区和存储拓扑能否满足约束。
  • 哪些系统组件需要留在专用节点? 清点网络、存储、日志和监控等 DaemonSet 的容忍配置及运行状态。不要为了让组件运行而给所有业务工作负载添加宽泛容忍。
  • 谁能改变调度条件? 节点标签、污点,以及 Pod 的容忍和亲和性都需要受控。能随意设置容忍或直接指定节点的主体,可能绕过预期的专用池使用规则。

以下命令可作为基线;将命名空间和控制器名称替换为实际值:

kubectl get nodes -o wide --show-labels
kubectl describe nodes
kubectl get pods -A -o wide
kubectl get daemonsets -A
kubectl -n secure-app get deployment sensitive-api -o yaml > sensitive-api.before.yaml
kubectl -n secure-app get pods -o wide
kubectl -n secure-app get pdb

同时保存节点池在云平台或基础设施即代码中的原始配置。对托管节点池,仅修改现有节点对象可能无法覆盖后续新建或替换的节点;应确认节点池支持怎样的持久化标签和污点配置。

选择受保护的节点标签

示例使用 example.com.node-restriction.kubernetes.io/sensitive=true 标识专用节点。使用这类标签作为安全相关调度依据前,须确认集群使用 Node authorizer 并启用 NodeRestriction 准入插件,否则不能依赖该机制限制 kubelet 修改标签。具备相应节点修改权限的其他主体仍须通过 RBAC 等方式约束。配置前可核对 Kubernetes 官方节点分配文档中的节点隔离要求。

控制项本次作用单独使用的不足
节点标签与必需节点亲和性要求敏感 Pod 只调度到指定节点不能阻止普通 Pod 进入这些节点
NoSchedule 污点排斥不具备匹配容忍的新 Pod不会清走节点上已经运行的 Pod
匹配容忍允许敏感 Pod 通过该污点检查容忍不等于指定节点,也不保证调度成功

实施:建立专用池并迁移工作负载

1. 配置节点标签和污点

优先在新建的专用节点池中配置,并确认池内每个节点都继承配置。下面的命令展示对单个节点的操作;实际执行前应核对节点名称,逐台或通过平台配置应用:

NODE=sensitive-node-1

kubectl label node "$NODE" \
  example.com.node-restriction.kubernetes.io/sensitive=true

kubectl taint node "$NODE" \
  dedicated=sensitive:NoSchedule

在已有普通业务的节点上添加 NoSchedule 不会迁走现存 Pod。若必须复用节点,应先评估业务中断和 DaemonSet 行为,按维护流程逐台疏散并检查剩余 Pod;不要把“污点已存在”等同于“节点已清空”。

2. 为敏感工作负载配置双向约束

将以下片段合并到 Deployment 的 spec.template.spec 中,保留原有容器、服务账号、资源请求及其他调度条件:

tolerations:
  - key: dedicated
    operator: Equal
    value: sensitive
    effect: NoSchedule

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions:
            - key: example.com.node-restriction.kubernetes.io/sensitive
              operator: In
              values:
                - "true"

匹配容忍使 Pod 可以通过专用节点的污点检查;必需节点亲和性限制它只能选择带指定标签的节点。两者一起使用,才分别覆盖“敏感业务进入专用池”和“未获容忍的业务不能新调度进入”的目标。

更新 Pod 模板会触发 Deployment 滚动更新。先在测试环境验证,再根据副本数、maxUnavailable、maxSurge、就绪探针和实际容量安排灰度。对于单副本、状态型或严格依赖存储拓扑的业务,应单独制定迁移与恢复步骤,不宜直接套用 Deployment 滚动策略。

kubectl -n secure-app apply -f sensitive-api.yaml
kubectl -n secure-app rollout status deployment/sensitive-api

IgnoredDuringExecution 也意味着:节点之后失去该标签,并不会仅凭这条亲和性自动驱逐已经运行的 Pod。因此,标签漂移需要监控和人工处置。

验证:同时检查正向、反向和故障路径

验证应在授权的测试命名空间和维护窗口内进行,记录命令输出、事件、时间和操作者。不要只看 Deployment 显示成功,还要检查每个 Pod 的实际节点以及节点上的其他工作负载。

正向:敏感工作负载是否落在专用池

kubectl get nodes \
  -l example.com.node-restriction.kubernetes.io/sensitive=true \
  -o wide

kubectl -n secure-app get pods -o wide
kubectl -n secure-app describe pod <敏感Pod名称>

将 Pod 的 NODE 与带标签的节点清单逐一比对,并检查应用就绪状态、服务端点和关键业务请求。Pod 若处于 Pending,查看事件中是否有污点不匹配、节点亲和性不匹配、资源不足或卷拓扑等原因;不要通过临时删除约束掩盖问题。

反向:普通工作负载能否进入专用池

在测试命名空间创建一个没有专用污点容忍、但通过节点选择器要求进入专用池的测试 Pod。使用组织允许的测试镜像,且不要设置 nodeName 或使用自定义调度器绕开正常调度路径:

apiVersion: v1
kind: Pod
metadata:
  name: isolation-negative-test
  namespace: isolation-test
spec:
  restartPolicy: Never
  nodeSelector:
    example.com.node-restriction.kubernetes.io/sensitive: "true"
  containers:
    - name: test
      image: <组织允许的测试镜像>
kubectl apply -f isolation-negative-test.yaml
kubectl -n isolation-test get pod isolation-negative-test -o wide
kubectl -n isolation-test describe pod isolation-negative-test

预期结果是 Pod 保持 Pending,且调度事件包含专用节点污点未被容忍的原因。仅看到 Pending 不足以证明排斥生效:还必须确认不是镜像、资源或其他节点条件造成的表面结果。测试后删除该 Pod:

kubectl -n isolation-test delete pod isolation-negative-test

再反向盘点专用节点上的实际 Pod,重点核查业务 Pod 是否存在意外的宽泛容忍,以及系统 DaemonSet 是否属于批准的例外。普通 Pod 若能添加匹配容忍,仍可能进入专用池;需要结合准入策略和权限治理控制谁可以声明这些配置。

故障:容量不足和节点不可用时会怎样

在非生产环境或经批准的演练窗口,模拟专用池容量不足或单节点不可用,观察:

  • 敏感 Pod 是否按预期保持 Pending,而不是落到普通节点。
  • 剩余节点能否承载副本,以及拓扑、存储和资源请求是否允许重新调度。
  • 服务端点、错误率、延迟、Pod 重启和恢复时间是否符合业务要求。
  • 节点恢复或扩容后,Pending Pod 能否正常调度,系统组件是否完整。

演练前明确停止条件和恢复负责人。不要直接关闭生产节点来代替经过审批的故障演练。

回滚与复盘:先恢复调度,再核对隔离状态

变更失败时,先判断是应用异常、容量不足还是调度条件错误。若必须恢复到原来的共享节点方案,应明确这会暂时降低节点隔离程度,并获得业务与安全负责人确认。

  1. 恢复工作负载模板。 使用已保存且经过核对的原始声明重新部署,或在确认修订历史对应本次变更后执行 kubectl -n secure-app rollout undo deployment/sensitive-api。
  2. 观察恢复过程。 执行 rollout status,检查 Pod 实际节点、就绪状态、服务端点和业务指标。原节点池也必须有足够容量及满足原有约束;回滚模板不保证 Pod 一定能立即调度。
  3. 处理专用池配置。 确认已无工作负载依赖后,再通过节点池或基础设施配置恢复标签和污点。若最初直接修改了节点,可对已核实的节点移除本次配置:
   kubectl taint node sensitive-node-1 dedicated=sensitive:NoSchedule-
   kubectl label node sensitive-node-1 \
     example.com.node-restriction.kubernetes.io/sensitive-
  1. 核对最终状态。 检查节点池新建节点的配置、现有 Pod 分布和异常事件,避免平台配置与节点现场状态不一致。

复盘时保留变更前后节点清单、调度事件、正反向测试结果和故障演练记录。后续应持续检查新节点是否继承标签与污点、敏感 Pod 是否漂移、普通工作负载是否获得了不应有的容忍,以及专用池在节点故障时是否仍有余量。

最后,节点隔离只能约束正常调度位置。敏感业务仍需要最小权限的服务账号与节点访问控制、适当的网络策略、镜像和运行时防护,以及对高风险共享组件的持续审查;当威胁模型要求更强隔离时,还应评估独立集群或其他隔离边界。

 
枫少@KillBoy
评论  2  访客  2
    • 雪封
      雪封 1

      节点替换后标签继承这点很容易漏

      • 雨巷琴声
        雨巷琴声 1

        容量不够时宁可等待也别悄悄回退

      匿名

      发表评论

      匿名网友

      拖动滑块以完成验证