Kubernetes NetworkPolicy 默认拒绝出站落地:DNS 放行、依赖验证与故障回滚

枫少@KillBoy
枫少@KillBoy
枫少@KillBoy
管理员
462
文章
0
粉丝
云原生安全215字数 3175阅读10分35秒阅读模式
AI智能摘要
启用出站默认拒绝可以限制业务容器访问未授权目标,却也可能切断域名解析、数据库和外部接口连接。策略创建成功并不代表网络插件已经执行,已有宽松规则也可能继续放行流量。如何先盘点真实依赖,核对域名解析路径和业务访问需求,再通过试点验证、分批隔离及预设回滚措施,在收紧网络权限的同时控制误拦截风险?
— AI 生成的文章内容摘要

在 Kubernetes 业务命名空间启用出站默认拒绝,可以限制 Pod 主动连接未授权目标,但它也会切断未显式允许的 DNS、数据库和外部 API 访问。落地的关键不是先写一条拒绝规则,而是先识别真实依赖、验证网络插件的执行效果,再按工作负载逐步收敛,并为误拦截准备可操作的回滚路径。

本文聚焦 Kubernetes 原生 NetworkPolicy,适用于已经部署支持该策略的网络插件、并具备授权变更窗口的集群。以下示例假定业务命名空间为 payments;所有标签、地址和端口都必须先按实际环境核对,不能直接复制到生产环境。

Kubernetes NetworkPolicy 默认拒绝出站落地:DNS 放行、依赖验证与故障回滚

准备:先确认策略边界和业务依赖

理解默认拒绝的实际作用

NetworkPolicy 通过标签选择 Pod,分别约束其入站和出站连接。实施前需要明确几个容易误判的边界:

  • 策略是允许规则的并集。 多条策略同时选中一个 Pod 时,任一适用规则允许的流量都可能通过;额外创建一条默认拒绝策略,不会覆盖已有的宽松允许规则。
  • 入站与出站分别隔离。 只配置 policyTypes: [Egress] 不会使 Pod 入站隔离。对于两个都受策略隔离的 Pod,连接通常需要源 Pod 的出站规则和目标 Pod 的入站规则都允许。
  • 策略按 Pod 选择,不按 Service 名称或域名选择。 原生 NetworkPolicy 无法直接以域名表达外部 API 白名单;对外部地址使用 ipBlock 时,要考虑地址变化以及网络插件对地址转换的处理差异。
  • 执行依赖网络插件。 API 对象创建成功不代表数据面已经执行;必须通过实际连接测试确认。现有连接在策略变更后的处理也可能因插件而异,应同时测试新建连接。
  • 它不是节点全部流量的防火墙。 hostNetwork Pod、节点本地 DNS、节点发起的连接以及经过 Service 地址转换的流量,行为可能受网络实现影响,需要在目标集群验证。

尤其要区分镜像拉取和容器运行后的网络访问:镜像通常由节点上的容器运行时拉取,并非业务 Pod 自己的出站连接。Pod 出站策略一般不应被当作镜像拉取控制手段;如果变更后出现 ImagePullBackOff,应结合事件和节点侧排查,不能仅凭时间关联认定是该策略造成的。

盘点连接并确认操作权限

先选择一个可承受短时故障、依赖相对清晰的命名空间试点。盘点至少覆盖:

依赖需要记录的信息
DNSPod 实际使用的解析器地址、UDP/TCP 端口、是否经过节点本地缓存
集群内服务来源工作负载、目标命名空间和 Pod 标签、协议与目标端口
集群外服务域名、实际连接地址范围、端口、地址变更责任人
入站调用方调用来源、目标 Pod 标签和端口,以及目标是否已被入站隔离
运维与后台任务健康检查、遥测、批处理、初始化容器和低频定时任务的依赖

同时查看网络流量记录、应用配置、日志和任务清单;仅靠短时间观测容易遗漏低频任务。记录变更前的成功率和延迟,并确定业务负责人、观察窗口及回滚负责人。

检查当前策略及权限:

kubectl -n payments get networkpolicy
kubectl -n payments get networkpolicy -o yaml > payments-networkpolicies-before.yaml
kubectl -n payments get pods --show-labels

kubectl auth can-i list networkpolicies.networking.k8s.io -n payments
kubectl auth can-i create networkpolicies.networking.k8s.io -n payments
kubectl auth can-i patch networkpolicies.networking.k8s.io -n payments
kubectl auth can-i delete networkpolicies.networking.k8s.io -n payments

如需执行测试,还应确认读取 Pod、事件和日志,以及进入现有测试容器或创建测试工作负载的权限。遵循最小权限原则;测试 Pod 应使用批准的镜像和专用服务账号,避免赋予不必要的业务凭据。

实施:先放行已知依赖,再分批隔离

推荐顺序是:准备允许规则 → 在试点 Pod 上启用出站隔离 → 验证 → 扩大选择范围。策略更新并非跨节点原子生效,仍需选择维护窗口,并在每一步观察。

第一步:核对并放行 DNS

进入与业务 Pod 使用相同 DNS 配置的测试容器,检查 /etc/resolv.conf;再核对 DNS 服务和 Pod 标签:

kubectl -n payments exec <测试Pod> -- cat /etc/resolv.conf
kubectl -n kube-system get svc
kubectl -n kube-system get pods --show-labels
kubectl get namespace kube-system --show-labels

下面的示例仅适用于:解析请求最终由 kube-system 中带 k8s-app: kube-dns 标签的 DNS Pod 接收,且网络插件对该流量支持所示选择方式的集群。若使用节点本地 DNS、不同标签或不同端口,需要根据实际路径调整并测试;不要假设 Service 的 ClusterIP 一定会按同一种方式匹配。

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns-egress
  namespace: payments
spec:
  podSelector: {}
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: kube-system
          podSelector:
            matchLabels:
              k8s-app: kube-dns
      ports:
        - protocol: UDP
          port: 53
        - protocol: TCP
          port: 53

这里的 namespaceSelector 和 podSelector 位于同一个 to 条目中,表示选择该命名空间内符合标签的 Pod;如果拆成两个列表条目,含义会变成分别允许,范围可能更大。UDP 和 TCP 都应按实际解析需求验证。Kubernetes 官方文档特别提示:默认拒绝出站也会阻断 DNS,需要另行允许。

第二步:为业务依赖创建最小允许规则

假设 payments 中的 app: checkout 需要访问 data 命名空间内 app: orders-db 的 TCP 5432 端口,可以先创建:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-checkout-to-orders-db
  namespace: payments
spec:
  podSelector:
    matchLabels:
      app: checkout
  policyTypes:
    - Egress
  egress:
    - to:
        - namespaceSelector:
            matchLabels:
              kubernetes.io/metadata.name: data
          podSelector:
            matchLabels:
              app: orders-db
      ports:
        - protocol: TCP
          port: 5432

注意生效时机:即使尚未创建默认拒绝策略,这条 Egress 策略也会使选中的 checkout Pod 进入出站隔离状态。若 DNS 和其他依赖尚未放行,就可能立即中断。因此应先在隔离测试环境验证完整规则集,并在生产变更窗口内按已确认的顺序应用;必要时先使用仅匹配试点 Pod 的选择器。

如果目标数据库 Pod 已入站隔离,还需在 data 命名空间为相应来源和端口配置入站允许规则。不要为了使连接成功而直接开放整个命名空间或所有端口;同时核对已有策略是否已经允许了更宽的流量。

外部服务若只能通过不稳定的公网地址访问,原生 ipBlock 难以安全、及时地跟随域名变化。应先确认可维护的地址范围和变更机制,无法确认时不要用 0.0.0.0/0 冒充最小授权。

第三步:从试点扩大到命名空间默认拒绝

先给少量试点 Pod 设置专用标签,并让试点隔离策略只选择该标签;确认 DNS 和所有已知依赖正常后,再考虑将下列策略用于整个命名空间:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny-egress
  namespace: payments
spec:
  podSelector: {}
  policyTypes:
    - Egress

应用前检查最终清单,再执行变更:

kubectl apply --dry-run=server -f allow-dns-egress.yaml
kubectl apply --dry-run=server -f allow-checkout-to-orders-db.yaml
kubectl apply --dry-run=server -f default-deny-egress.yaml

# 仅在规则集和执行顺序已获批准后应用
kubectl apply -f allow-dns-egress.yaml
kubectl apply -f allow-checkout-to-orders-db.yaml
kubectl apply -f default-deny-egress.yaml

kubectl -n payments get networkpolicy
kubectl -n payments describe networkpolicy default-deny-egress

服务端试运行只能帮助检查 API 请求,不能证明网络插件会按预期执行,也不能发现业务依赖遗漏。上述规则也不保证 payments 内所有工作负载可用:每类工作负载的必要出站依赖都需要单独覆盖。

验证:同时证明“允许”和“拒绝”

测试 Pod 应放在同一命名空间,使用与目标工作负载相同的相关标签和 DNS 配置;否则它可能不受同一组策略约束。先评估复用业务标签会带来的策略和服务选择影响,尽量使用受控的测试副本。对于目标入站规则,也要确认测试来源的标签符合预期。

至少执行以下检查,并记录策略名称、测试时间、来源 Pod、目标和结果:

  1. DNS:解析集群内服务名及必要的外部域名;分别验证实际需要的 UDP、TCP 解析路径。解析成功不等于后续 TCP 连接成功。
  2. 已批准连接:从试点 Pod 新建到数据库、内部服务和外部 API 的连接,并执行不会修改生产数据的应用层健康检查。
  3. 未批准连接:选择经授权的非允许目标,确认新建连接无法建立;避免对未知公网地址进行探测。
  4. 反向核对:如果应被阻断的连接仍然成功,检查是否存在其他选中该 Pod 的宽松出站策略,以及目标是否处于插件特殊处理的路径。
  5. 业务观察:查看应用错误率、超时、重试、队列积压、DNS 错误和关键请求延迟,并检查定时任务、初始化容器及后台作业。

例如,测试容器具备相应工具时,可执行:

kubectl -n payments exec <测试Pod> -- nslookup <集群内服务名>
kubectl -n payments exec <测试Pod> -- nslookup <已批准外部域名>
kubectl -n payments logs <试点Pod> --all-containers --since=15m
kubectl -n payments get events --sort-by=.lastTimestamp

nslookup 和连接诊断工具未必存在于业务镜像中,不应临时扩大生产容器权限来安装。必要时使用事先批准的诊断镜像。事件和应用日志也不一定能直接证明流量被 NetworkPolicy 拦截;应结合可用的网络插件观测数据和新建连接测试判断。

复盘与回滚:恢复连通性后再收敛

出现故障时,先确认影响范围和最近变更,重点区分:

  • 名称解析失败:检查 Pod 的解析器地址、DNS 目标标签、UDP/TCP 端口,以及节点本地 DNS 或地址转换路径。
  • DNS 正常但服务不可达:检查目标地址和端口、源 Pod 出站规则、目标 Pod 入站规则,以及 Service 后端是否健康。
  • 只有部分 Pod 故障:核对标签、命名空间、不同版本工作负载和插件数据面状态。
  • 镜像拉取失败:查看 Pod 事件和节点运行时相关信息,不要直接将其归因于 Pod 出站策略。

如果必须立即恢复,先暂停继续推广并通知业务负责人。不要只删除 default-deny-egress 就认定回滚完成:allow-dns-egress 和业务允许策略本身也会让其选中的 Pod 保持出站隔离。

一种按命名空间快速恢复出站连通性的临时办法,是由获授权人员创建显式允许所有出站的应急策略:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: emergency-allow-all-egress
  namespace: payments
spec:
  podSelector: {}
  policyTypes:
    - Egress
  egress:
    - {}
kubectl apply -f emergency-allow-all-egress.yaml
kubectl -n payments get networkpolicy

该策略会因允许规则取并集而放开该命名空间 Pod 的出站限制,属于明显扩大权限的临时措施;它不解除目标端入站限制,也不保证绕过其他网络控制。创建后应立即验证关键业务、记录开始时间和责任人,并安排到期复核。若组织要求恢复至变更前状态,应依据事前导出的清单和变更记录,逐一撤销本次新增或修改的策略,避免删除其他团队管理的规则。

业务恢复后,定位遗漏依赖,在受控环境补齐最小允许规则并复测;确认基线有效后,再删除应急策略:

kubectl -n payments delete networkpolicy emergency-allow-all-egress

删除后立即重新验证 DNS、关键连接和预期拒绝行为。最后将遗漏原因、实际放行范围、插件差异、监控证据与回滚耗时写入变更记录,并把新增依赖纳入后续发布检查,避免下一次扩容或服务变更重新触发同类故障。

 
枫少@KillBoy
评论  2  访客  2
    • 彼岸繁花
      彼岸繁花 0

      低频定时任务确实容易漏掉

      • 绵绵小奶糖
        绵绵小奶糖 1

        原来允许规则本身就会触发隔离

      匿名

      发表评论

      匿名网友

      拖动滑块以完成验证