Kubernetes 容器运行时套接字挂载治理:识别 docker.sock/containerd.sock、准入拦截与回滚

枫少@KillBoy
枫少@KillBoy
枫少@KillBoy
管理员
476
文章
0
粉丝
云原生安全1 10字数 3859阅读12分51秒阅读模式
AI智能摘要
集群运行几年后,docker.sock或containerd.sock常已悄悄挂进多个命名空间,默认配置不会阻止;多租户构建中的可写挂载尤其把节点运行时控制面暴露给可提交构建的用户。文章给出清点Pod与控制器的hostPath、按用途生命周期信任边界划定豁免,再用准入策略拦截新增并安全回滚的治理路径。你的清单里,哪些挂载真的经得起复核?
— AI 生成的文章内容摘要

集群运行几年之后,运行时套接字往往已经悄悄进入了多个命名空间:构建代理需要调用 Docker 守护进程打镜像,监控代理需要读取 containerd 的事件流,旧式平台组件依赖节点上的 /var/run/docker.sock。这些挂载共同之处在于,它们都写在 Pod 的 spec.volumes[*].hostPath 字段里,都指向节点上实际存在的 Unix socket,而 Kubernetes 不会在默认配置下阻止它们。本文讨论的边界是配置治理与可复核的变更:如何把这些挂载清点出来、判定哪些属于受控调试或平台豁免、如何用准入策略拦截新增挂载,以及在验证和回滚时把既有工作负载的影响降到最低。不展开具体的逃逸利用链,也不替代任何授权测试。

容器运行时套接字挂载治理的三阶段流程示意

先理解挂载的来源与适用条件

Kubernetes 官方文档把 hostPath 描述为一种“强大的逃生舱”,并明确提示大多数 Pod 并不需要它。运行时套接字挂载正是这种逃生舱的典型用法:把节点上由 dockerd 或 containerd 监听的 Unix socket 以 hostPath 形式映射进容器,让容器里的进程可以直接与节点运行时通信。

从集群里实际出现的位置看,这类挂载大致来自三类工作负载:

第一类是构建与发布链路。早期在集群内跑 Jenkins、Kaniko 或 DinD 构建的做法,经常直接挂 /var/run/docker.sock,让构建容器复用节点上的 Docker 守护进程。当构建 Job 是多租户共享的,这种挂载就相当于把运行时控制面直接暴露给任意可提交构建的用户。

第二类是节点级观测组件。部分日志采集和指标代理通过读取 /run/containerd/containerd.sock 或 /var/run/docker.sock 来获取容器元数据、事件和状态。它们通常运行在 kube-system 或独立的 monitoring 命名空间,看起来像平台组件,但实际上不同组件的替代方案成熟度差别很大。

第三类是历史遗留的平台组件。少数安装器、Operator 或运维工具仍以 hostPath 方式同时挂载运行时套接字与节点目录。这类挂载往往不是业务直接发起,最容易在清点时被发现,也最容易在准入启用时被误伤。

需要特别注意,是否构成风险并不只取决于路径本身。同样的 /var/run/docker.sock,如果是只读挂载、运行在隔离的临时命名空间、配合审批与 TTL,风险边界与长期在多租户命名空间里可写挂载完全不同。判断时至少同时看四件事:挂载是否可写、工作负载是否长期存在、命名空间是否允许不受信任的用户提交 Pod、该 Pod 是否已经持有其他节点级权限。

第一步:用 kubectl 清点实际暴露面

清点的目标不是找到所有 hostPath,而是找出指向运行时套接字的 hostPath,并把它们连同所在工作负载一起列出来。直接扫 Pod 比扫 Deployment 更完整,因为前者已经包含了由控制器生成的实例;如果要跟踪长期配置,再把结果回溯到控制器。

kubectl get pods -A -o json | jq -r '
  .items[]
  | select(.spec.volumes[]?.hostPath.path? // "" | test("docker\\.sock|containerd\\.sock"))
  | "\(.metadata.namespace)/\(.metadata.name)\t\(
      [.spec.volumes[] | select(.hostPath.path? // "" | test("docker\\.sock|containerd\\.sock"))
       | "\(.hostPath.path) \(.hostPath.type // "unset")"] | join(", ")
    )"
'

这条命令覆盖了 Pod 层面已经生效的挂载,输出左侧是命名空间与 Pod 名称,右侧是命中的路径以及 hostPath.type。hostPath.type 值得单独列出来,因为 Socket 和空值对应的行为不同,空值在部分节点上会按文件存在与否进行推断,不利于后续变更判断。

如果要同时定位控制器而不是 Pod,可以对多种工作负载对象复用同一查询:

for kind in deployment statefulset daemonset job cronjob; do
  kubectl get "$kind" -A -o json | jq -r --arg k "$kind" '
    .items[]
    | select(.spec.template.spec.volumes[]?.hostPath.path? // "" | test("docker\\.sock|containerd\\.sock"))
    | "\($k)\t\(.metadata.namespace)/\(.metadata.name)"
  '
done

清点时有几个容易遗漏的方向需要一并纳入:

  • 静态 Pod 与节点代理。kubelet 托管的静态 Pod 不一定出现在 kubectl get pods 的默认输出里,需要结合节点的 manifest 目录与 kube-system 命名空间确认。
  • 卸载与孤儿资源。已经停用的 Deployment 如果保留副本数为零,挂载仍然写在对象里,准入不会针对它生效;但如果有人把副本数拉回来,挂载就会随之上线。
  • 不同集群版本的路径差异。Docker 与 containerd 在不同发行版和安装方式下套接字路径可能不同,除 /var/run/docker.sock 和 /run/containerd/containerd.sock 外,也应把指向 /var/run/containerd/containerd.sock 的挂载纳入清单。

输出结果应整理成一张带工作负载归属的清单,而不是一份路径列表。清单至少包括:命名空间、工作负载类型与名称、挂载路径、读写模式、是否由控制器管理、业务归属人。

第二步:按场景判定风险并划定豁免边界

判定时容易走向两个极端:看到 hostPath 就一律阻断,或者把所有节点级组件默认当成可豁免对象。更可复核的方式是按挂载的“用途 + 生命周期 + 信任边界”三个维度组合判断。

场景典型工作负载风险位置建议处理
短期受控调试一次性排查 Pod、临时任务可写挂载可让调试进程控制节点运行时纳入临时豁免,设置命名空间、只读与 TTL,完成后删除
节点级观测代理日志、指标、事件采集组件读权限本身可能泄露容器元数据与镜像信息先评估 CSI 驱动或只读指标接口,保留期间限定在系统命名空间并限制 ServiceAccount
集群内 CI/CD 构建代理构建 Job、共享构建命名空间构建任务可影响节点运行时,且常由多租户触发视为高危,优先改为无守护进程构建或迁移到专用节点池
平台安装器与遗留 Operator安装期工具、旧式运维组件往往权限偏大、变更不透明逐项确认用途,能升级为受限接口的迁移,不能的进入豁免清单
业务命名空间中的任意 Pod应用工作负载暴露面最大、归属最不清晰直接纳入拦截范围,不开口子

判定原则可以归纳为几条:

  1. 可写挂载按最严格情况处理。只读挂载与可写挂载的风险量级不同,判定时不要把两者混在一起。
  2. 跨租户的工作负载不设默认豁免。如果命名空间允许不同团队提交 Pod,那么任何挂载运行时套接字的 Pod 都应视为对节点运行时的共享控制面。
  3. 豁免必须有归属人与到期时间,而不是一次性永久生效。豁免条目应当能回答“谁在用、用来做什么、什么时候复查、不做的替代方案是什么”。
  4. 不以“平台组件”作为自动豁免理由。kube-system 里同样存在可以迁移的历史挂载。

第三步:以最小范围启用准入拦截

Kubernetes 的 Pod Security Standards(PSS)中,Restricted 配置明确禁止 spec.volumes[*].hostPath。把这一点用在命名空间层面,是不需要引入额外组件的兜底手段;但 PSS 只覆盖 Pod 安全字段,无法表达“只禁止运行时套接字路径、放行其他 hostPath”这类细粒度规则,所以在实际治理中往往与准入策略引擎配合使用。

一个务实的推进顺序是:

先在目标命名空间开启 PSS 的 warn 与 audit,不直接 enforce。 这样新增 Pod 的违反项会进入审计日志与事件,但不会阻断工作负载:

kubectl label namespace <target-ns> \
  pod-security.kubernetes.io/warn=restricted \
  pod-security.kubernetes.io/audit=restricted

观察一段时间后,再按命名空间逐个把 enforce 拉起来:

kubectl label namespace <target-ns> \
  pod-security.kubernetes.io/enforce=restricted \
  pod-security.kubernetes.io/enforce-version=latest

在命名空间之外,再用准入策略按路径拦截。 如果集群已经在用 Kyverno、Gatekeeper 或自建准入 Webhook,可以只禁用指向运行时套接字的 hostPath,而不影响其他合法 hostPath:

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: deny-runtime-socket-hostpath
spec:
  validationFailureAction: Audit
  rules:
    - name: deny-socket-paths
      match:
        any:
          - resources:
              kinds: [Pod]
      validate:
        message: "禁止通过 hostPath 挂载容器运行时套接字"
        deny:
          conditions:
            any:
              - key: "{{ request.object.spec.volumes[?hostPath].hostPath.path || `[]` }}"
                operator: AnyIn
                value:
                  - "/var/run/docker.sock"
                  - "/run/containerd/containerd.sock"
                  - "/var/run/containerd/containerd.sock"

该片段只表达判定逻辑,具体字段以所用策略引擎的版本语法为准。上线时先把 validationFailureAction 设为 Audit,确认没有误伤后再改为 Enforce。

需要注意的是,准入策略只对“创建和更新请求”生效,不会追溯已存在的 Pod。已有工作负载的重建要依赖重启、滚动更新或重新部署才会再次经过准入判断;因此清理既有暴露面不能只靠准入,还要配合前面的清点和后续的迁移。

第四步:验证拦截结果并控制对既有负载的影响

准入策略一旦启用,最容易被误伤的是两类负载:频繁重建的 CI/CD 构建 Job,以及滚动发布中的监控代理 DaemonSet。验证时应专门针对这两类建立观察点,而不是只看新 Pod 是否被拒绝。

验证分三层进行:

第一层:构造一个应当被拒绝的最小 Pod。

kubectl -n <target-ns> run socket-probe \
  --image=registry.k8s.io/pause:3.10 \
  --overrides='{"spec":{"volumes":[{"name":"sock","hostPath":{"path":"/var/run/docker.sock","type":"Socket"}}],"containers":[{"name":"socket-probe","image":"registry.k8s.io/pause:3.10","volumeMounts":[{"name":"sock","mountPath":"/var/run/docker.sock"}]}]}}'

预期结果是创建被拒绝,事件里能看到来自准入策略或 PSS 的拒绝原因。如果 Pod 被创建出来,需要立即定位是哪一层策略没有生效,而不是把该 Pod 留着继续观察。

第二层:观察既有工作负载的滚动与新建。 在验证窗口内,重点看三类信号:

  • 构建 Job 的成功率与 FailedCreate 事件。如果某条流水线依赖共享构建命名空间,它会在这里暴露。
  • 监控代理 DaemonSet 的滚动状态。滚动卡住往往意味着新版本 Pod 模板带有旧挂载,而准入把它挡住了。
  • 命名空间事件中的 FailedCreate 与 Forbidden。可以用 kubectl get events -A --field-selector reason=FailedCreate 定期采样。

第三层:确认豁免条目的实际效果。 对每一个进入豁免清单的工作负载,单独用与它一致的 Pod 模板做一次准入判断测试,确认在没有豁免的情况下会被拦截,在有豁免的情况下可以正常创建。这一层验证可以避免“策略看起来生效了,其实是因为字段没匹配上”的假阳性。

关于影响面,还有两个容易被忽略的点:一是更新操作也会走准入,因此对已有 Deployment 的任何修改(包括镜像升级)都会触发拦截评估;二是豁免应当按命名空间或 ServiceAccount 收窄,而不是按集群全局放开,否则同一个豁免会顺带放行其他工作负载。

第五步:管理豁免并准备回滚

豁免是治理流程的一部分,而不是绕过治理的口子。建议把豁免统一收敛到两处:PSS 的命名空间标签、准入策略的例外规则。两处都要带可追溯的元数据,例如在策略中为每个豁免条目记录业务归属、到期时间和替代方案说明。

回滚安排按变更层级分三档准备:

  • 策略级回滚:把准入策略的 validationFailureAction 从 Enforce 改回 Audit。这是影响面最小的一档,适用于发现新工作负载被广泛误伤的情况。
  • 命名空间级回滚:把 pod-security.kubernetes.io/enforce 标签移除,命名空间回到未启用 enforce 的状态。适用于逐个命名空间推进时出现局部阻断的情况。
  • 工作负载级回滚:若某个工作负载确实需要短期内继续使用挂载,优先通过豁免条目放行,而不是修改它的副本数或暂停发布;后者会让问题在更不显眼的地方积累。

无论哪一档回滚,都应保留清点清单与验收记录,避免回滚之后再走一遍相同的排查路径。回滚完成后要重新确认:被放行的工作负载是否仍然落在预期的命名空间与 ServiceAccount 范围内,豁免的有效期是否已经设好。

复盘与持续监控

完成一轮清点、拦截与豁免之后,治理并没有结束,而是转入持续观察阶段。建议保留三个固定观察点:

  • 准入拒绝事件的时间序列。突然出现的拒绝峰值通常意味着有自动化流水线或新模板上线,需要回溯到具体工作负载。
  • 豁免条目的到期检查。把豁免的到期时间放进定期巡检,到期未续的理由应当默认按收紧处理。
  • 新增 hostPath 的可见性。可以在 CI 侧对提交的 YAML 加上同样的路径检测,让问题在集群之外先被挡一次;集群内的准入则作为最后一道闸门。

运行时套接字挂载的治理难点不在于单条规则本身,而在于它涉及多类工作负载、多种挂载方式与多个时间尺度的变更。把“先清点、再判定、最后最小范围拦截并准备回滚”固化成流程,比一次性收紧更能避免在 CI/CD 或监控链路上留下难以发现的中断点。

隔离测试舱中的运行时套接字挂载与准入闸门示意

把治理落到日常操作里

当清点命令、判定表格、准入策略与回滚清单都固化下来之后,运行时套接字挂载就从一条“总是被发现、总是不敢改”的旧配置,变成可以逐项追踪、逐项豁免、逐项收敛的对象。对平台开发者而言,这意味着新模板在提交前就知道会不会被拒绝;对运维人员而言,这意味着收紧策略时已经有明确的回滚阶梯;对云安全工程师而言,这意味着暴露面的收敛有可验证的依据,而不是一次性的清查运动。

 
枫少@KillBoy
    • 宇宙微尘
      宇宙微尘 0

      先清点再拦截确实稳

    匿名

    发表评论

    匿名网友

    拖动滑块以完成验证