Kubernetes 外部密钥同步加固:External Secrets Operator 的权限边界、轮换验证与失效回滚

枫少@KillBoy
枫少@KillBoy
枫少@KillBoy
管理员
444
文章
0
粉丝
云原生安全1 8字数 2934阅读9分46秒阅读模式
AI智能摘要
外部密钥留在集群之外,并不意味着同步链路天然安全:认证凭据、控制器权限和同步中断后的旧值都可能成为风险点。针对多团队共享外部密钥后端的场景,文章梳理工作负载身份、命名空间权限与目标密钥读权限的收敛方法,并以首次拉取和轮换验证为主线,说明如何检查同步状态、保留回滚基线,以及在更新失败时判断业务仍在使用什么值。
— AI 生成的文章内容摘要

External Secrets Operator 的价值,是把密钥的唯一可信来源留在集群之外,让 Kubernetes 里只保留一份由控制器维护的副本。但这条链路一旦落地,就有三个位置决定它是否真的安全:SecretStore 里的认证凭据本身、控制器与目标 Secret 之间的 RBAC 范围,以及同步中断时业务拿到的到底是旧值还是空值。本文不比较各家密钥产品的能力,而是以一次受控同步和一次轮换验证为主线,给出可复核的配置边界与回滚路径。适用的前提是:你已经在使用或准备引入 ESO,集群里有多个命名空间、多个团队共享同一套外部密钥后端。

拆开信任链:谁在为谁担保

一个典型的同步关系由四段组成。ExternalSecret 只是声明“我需要哪些键、写入哪个 Secret”,本身不含凭据;SecretStore 或 ClusterSecretStore 持有访问外部系统的端点与认证材料,是整条链上权限最大的对象;外部密钥系统保存真实值;最后由 ESO 在目标命名空间中写出 kind: Secret,交给工作负载消费。

风险并不平均分布。ExternalSecret 泄露,攻击者最多知道你取了哪个键名;SecretStore 泄露,等同于拿到了外部系统的访问凭据,影响面取决于该凭据在外部系统中的授权;目标 Secret 泄露,暴露的就是业务当前正在用的明文。因此加固顺序应当是先收紧 SecretStore 的凭据来源与作用域,再谈同步策略。

对象存放内容泄露后的直接后果收敛方向
SecretStore外部端点、认证方式与凭据引用可能获得外部密钥系统的读甚至写权限改用工作负载身份或集群原生认证,不使用长期静态令牌
ClusterSecretStore同上,但可被多个命名空间引用一个对象失守,波及所有引用它的命名空间仅在确需跨命名空间复用时创建,并单独审查其引用方
ExternalSecret键名映射、刷新周期泄露面较小,但可用于探测后端结构纳入代码评审,禁止在生产手工创建
目标 Secret业务实际使用的密钥值直接暴露应用凭据收窄读权限,控制 env 注入范围

先划权限边界,再谈同步

认证凭据不要落进同一套同步链路里

最常见的错误,是用一个 Kubernetes Secret 保存外部系统的长期访问令牌,再由 SecretStore 引用它。这样做的结果是:该 Secret 本身成了整条链上价值最高的对象,而它又恰好位于你正在用 ESO 管理的集群内,形成“用 A 保护 B、A 又需要被保护”的循环。

优先选择不需要持久化凭据的认证方式:Vault 的 Kubernetes 认证、云平台的 workload identity、或集群内的服务账号令牌投射。如果外部系统只支持静态凭据,至少让它与受它保护的 Secret 处于不同的信任域——例如由集群外的注入机制提供,或使用短期、可自动续期的凭据,并把轮换周期写进运维流程,而不是依赖“配好就不会再动”。

命名空间作用域要显式选择

SecretStore 是命名空间级的,默认只能被同命名空间的 ExternalSecret 引用,这是较安全的起点。ClusterSecretStore 让一个对象被全集群引用,复用方便,但也把“一个后端凭据”变成“多个团队共享的通道”:任何一个命名空间创建 ExternalSecret 指向它,就能读取它在外部系统中被授权的全部路径。

如果必须使用 ClusterSecretStore,建议叠加两层限制:一是在外部系统侧按路径做授权,让该凭据只能读取公共前缀下的内容,用路径而不是集群内 RBAC 来隔离团队;二是定期枚举引用方,对新增引用保留审批。后者无法靠 ESO 自身完成,需要一条查询语句或巡检脚本固化下来。

使用 Kubernetes 作为 provider 时还有一个细节值得知道:SecretStore 会通过 SelfSubjectRulesReview 校验控制器身份是否有目标命名空间 Secret 的读权限,也就是说,权限判定最终落在 ESO 控制器所使用的服务账号上,而不是 CRD 的创建者身上。这意味着控制器权限过宽时,命名空间边界会被悄悄绕过。可参考官方 Kubernetes provider 文档 中的实现说明。检查控制器的 ClusterRole 是否包含超出所需的 secrets 读写范围;多租户集群中,可考虑按租户拆分控制器实例并配以命名空间级 RoleBinding。

纵向分层信息图,展示外部密钥库、SecretStore 凭据、命名空间边界与目标 Secret 之间的信任链与权限开口

目标 Secret 的读权限按工作负载收敛

同步出来的 Secret 常被整命名空间可见的默认权限覆盖。对生产命名空间,至少避免让任意 Pod 都能 get 全部 Secret:把读取权限绑定到具体的工作负载服务账号,而不是命名空间的默认服务账号。这一条与 ESO 无关,却决定了“同步链路做得再干净,落地那一刻是否白费”。

受控同步:一次可复核的首次拉取

准备阶段要留好退路

在改任何配置之前,先做三件事:确认目标命名空间中已存在的同名 Secret 会被覆盖,若有历史手工维护的值,先离线导出备份;确认外部系统中该路径下确实只有需要同步的键,避免 dataFrom 一把拉全;记录当前 ExternalSecret 与 SecretStore 的 YAML,作为回滚基线。

最小权限的配置骨架

下面两段是范围收敛后的示例,API 版本随 ESO 版本演进,请以集群内实际的 CRD 为准。SecretStore 使用集群原生认证,不引用持久化令牌:

apiVersion: external-secrets.io/v1
kind: SecretStore
metadata:
  name: vault-backend
  namespace: payments
spec:
  provider:
    vault:
      server: https://vault.internal.example:8200
      path: kv
      version: v2
      auth:
        kubernetes:
          mountPath: kubernetes
          role: eso-payments
          serviceAccountRef:
            name: eso-payments-auth

ExternalSecret 显式写出删除策略与创建策略,避免依赖默认行为:

apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
  name: db-credentials
  namespace: payments
spec:
  refreshInterval: 1h
  secretStoreRef:
    name: vault-backend
    kind: SecretStore
  target:
    name: payments-db
    creationPolicy: Owner
    deletionPolicy: Retain
  data:
    - secretKey: password
      remoteRef:
        key: payments/db
        property: password

deletionPolicy: Retain 的语义是:删除 ExternalSecret 时保留已生成的 Secret。对于“删掉 CR 就等于删掉业务凭据”的场景这是保护,对于“清理时要一并回收”的场景则是残留。无论选哪个值,都应显式写明并写进变更说明,而不是留给默认值。

同步结果要看得见

首次创建后,用 kubectl describe externalsecret db-credentials -n payments 观察状态条件与事件,确认同步成功而非部分键缺失;再用 kubectl get secret payments-db -n payments -o jsonpath='{.data.password}' 与外部系统中的值做一次比对。只看到资源变成 Ready 就结束验证,是这类配置最常见的漏检点——键名拼错、属性名不匹配都可能表现为“已同步但内容为空”。

轮换验证:别只看 ExternalSecret 是否 Ready

refreshInterval 到期后,ESO 会重新拉取外部值并更新目标 Secret。但“Secret 更新了”和“应用用上了新值”是两件事,取决于消费方式。

消费方式更新机制验证手段常见误区
挂载为 volumekubelet 周期性同步挂载内容进入 Pod 查看文件内容或哈希文件更新了,但应用只在启动时读取一次
注入为环境变量不随 Secret 变化而更新对比进程内变量与 Secret 内容以为轮换已生效,实际旧值一直用到下次重启
启动时读取配置文件同上检查最近一次重启时间缺少主动重载机制

因此一次完整的轮换验证应包含:在外部系统更新值 → 等待至少一个 refreshInterval 并确认状态刷新 → 检查目标 Secret 的内容已变 → 触发应用重载(滚动重启或发送 reload 信号)→ 用新的凭据完成一次真实业务请求。若外部系统支持双凭据并存,先加新值、验证通过、再撤旧值,可以避免轮换窗口内的认证失败。

失效回滚:当外部系统不可达

外部系统短时不可达、认证凭据过期、后端路径被误删,是三种最常见的同步中断。此时 ESO 通常不会清空已经生成的目标 Secret,而是保持上一次成功同步的内容,同时把 ExternalSecret 的状态置为失败。这意味着业务未必立刻中断,但也意味着你无法通过“应用还能跑”推断同步链路是健康的——必须依赖状态与告警,而不是用户投诉。

回滚路径按代价从低到高排列:

  1. 修复认证或网络可达性,让控制器自然恢复同步。这是首选,因为不改变集群内状态。
  2. 回滚 SecretStore 或 ExternalSecret 的定义到基线版本。适用于变更本身引发的失败,注意回滚后要重新确认目标 Secret 是否被旧配置覆盖。
  3. 用离线备份手工恢复目标 Secret。仅在外部系统长时间不可用时使用,并明确标记为临时措施,避免它在下一次成功同步时被静默覆盖而无人知晓。
  4. 若问题出在 ClusterSecretStore,优先摘除其引用方而不是直接删除对象,删除会同时影响所有依赖它的命名空间。

评估业务影响时,重点不是“密钥能不能同步”,而是“这个密钥会不会在观察窗口内过期”。短期令牌类凭据(数据库临时口令、STS 令牌)在同步中断后会在数十分钟到数小时内失效,影响是断崖式的;长期静态口令则给了你更长的处置窗口,但轮换不及时本身又是另一个问题。把每个 ExternalSecret 对应的凭据类型和有效期记录在案,比事后判断要可靠得多。

纵向对称信息图,展示周期性密钥刷新路径与同步失效后的备份回滚入口共用同一目标 Secret

观测点与复盘清单

日常需要持续观察的至少有三项:ExternalSecret 的状态条件是否长期处于失败、最近一次刷新时间是否超出预期、引用 ClusterSecretStore 的命名空间清单是否出现未预期的新增。前者靠监控告警,后两者可以固化为定期巡检。

复盘时值得逐条确认:SecretStore 的凭据是否仍是长期静态令牌;ClusterSecretStore 的外部侧授权是否按路径收敛;目标 Secret 的读权限是否绑定到具体工作负载;每个 ExternalSecret 的 deletionPolicy 是否显式声明且与业务预期一致;轮换后是否有明确的应用重载动作;离线备份是否存在且与当前值差距可控。这六项都不依赖具体云厂商,换一套后端仍然成立。

对于需要反向写入的场景——例如把集群内生成的凭据备份到外部系统——PushSecret 提供了另一种方向的能力,但它的权限要求是目标路径上的创建、读取与更新,审慎程度应高于拉取型同步,具体可见官方 Push Secrets 文档。在大多数加固目标中,先把拉取链路的作用域和回滚路径理清,比增加一条写入通道更有价值。

 
枫少@KillBoy
    • 竹里馆
      竹里馆 1

      环境变量不重启就不会更新,这点太容易漏了

    匿名

    发表评论

    匿名网友

    拖动滑块以完成验证