Argo CD 消息通知和 webhook

合集 - Argo(8)

1.Argo CD2023-08-102.Argo CD YAML资源清单2023-08-103.Argo CD 创建部署应用2023-08-104.Argo CD Project2023-08-105.Argo Rollouts2023-08-116.Argo CD App Of Apps2023-08-167.Argo CD ApplicationSet2023-08-16

8.Argo CD 消息通知和 webhook2023-08-24

收起

Argo CD 消息通知和 webhook

有的时候我们可能希望将应用同步的状态发送到指定的渠道，这样方便我们了解部署流水线的结果，最新版本 Argo CD 也内置了 ArgoCD Notifications 用于同步状态通知功能，同时我们也可以与第三方的系统进行集成。

• ArgoCD Notifications - Argo CD 通知系统，持续监控 Argo CD 应用程序，旨在与各种通知服务集成，例如 Slack、SMTP、Telegram、Discord 等。
• Argo Kube Notifier - 通用 Kubernetes 资源控制器，允许监控任何 Kubernetes 资源并在满足配置的规则时发送通知。
• Kube Watch - 可以向 Slack/hipchat/mattermost/flock 频道发布通知，它监视集群中的资源变更并通过 webhook 通知它们。

这里我们就以 ArgoCD Notifications 为例来说明如何使用 企业微信 来通知 Argo CD 的同步状态通知。

ArgoCD Notifications 默认已经随着 Argo CD 安装了：

$ kubectl get pods -n argocd
NAME                                                READY   STATUS    RESTARTS       AGE
argocd-notifications-controller-5b56f6f7bb-jqpng    1/1     Running   1 (163m ago)   3d2h

然后我们企业微信群里创建一个机器人。

然后我们需要修改 install.yaml 文件中的 argocd-notifications-cm 添加相关配置才能支持企业微信机器人。

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: argocd-notifications-cm
data:
  service.webhook.qywx: |
    url: https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxxxx-xxxx-xxxx-xxxx-xxxxxx
    headers:
      - name: Content-Type
        value: application/json
  context: |
    argocdUrl: https://dev-argocd.evescn.com
  template.app-sync-change: |
    webhook:
      qywx:
        method: POST
        body: |
          {
              "msgtype": "markdown",
              "markdown": {
                  "content": "
                  ### ArgoCD服务发版成功
                  > <font color=\"info\">服务名称</font>: {{.app.metadata.name}}
                  > <font color=\"info\">app同步状态</font>: {{.app.status.operationState.phase}}
                  > <font color=\"info\">app服务状态</font>: {{.app.status.health.status}}
                  > <font color=\"info\">时间</font>: {{.app.status.operationState.startedAt}}
                  > <font color=\"info\">URL</font>: [点击跳转ArgoCD]({{.context.argocdUrl}}/applications/{{.app.metadata.name}}?operation=true)"
              }
          }
  template.app-sync-degraded: |
    webhook:
      qywx:
        method: POST
        body: |
          {
              "msgtype": "markdown",
              "markdown": {
                  "content": "
                  ### ArgoCD服务发版失败
                  > <font color=\"warning\">服务名称</font>: {{.app.metadata.name}}
                  > <font color=\"warning\">app同步状态</font>: {{.app.status.operationState.phase}}
                  > <font color=\"warning\">app服务状态</font>: {{.app.status.health.status}}
                  > <font color=\"warning\">时间</font>: {{.app.status.operationState.startedAt}}
                  > <font color=\"warning\">URL</font>: [点击跳转ArgoCD]({{.context.argocdUrl}}/applications/{{.app.metadata.name}}?operation=true)"
              }
          }
  trigger.on-deployed: |
    - description: Application is synced and healthy. Triggered once per commit.
      send: [app-sync-change]  # template names
      # trigger condition
      when: app.status.operationState.phase in ['Succeeded'] and app.status.health.status == 'Healthy'
  trigger.on-health-degraded: |
    - description: Application has degraded
      send: [app-sync-degraded]
      when: app.status.health.status == 'Degraded'
  trigger.on-sync-failed: |
    - description: Application syncing has failed
      send: [app-sync-degraded]  # template names
      when: app.status.operationState.phase in ['Error', 'Failed']
  trigger.on-sync-running: |
    - description: Application is being synced
      send: [app-sync-change]  # template names
      when: app.status.operationState.phase in ['Running']
  trigger.on-sync-status-unknown: |
    - description: Application status is 'Unknown'
      send: [app-sync-degraded]  # template names
      when: app.status.sync.status == 'Unknown'
  trigger.on-sync-succeeded: |
    - description: Application syncing has succeeded
      send: [app-sync-change]  # template names
      when: app.status.operationState.phase in ['Succeeded']
  subscriptions: |
    - recipients: [qywx]  # 可能有bug，正常应该是webhook:qywx
      triggers: [on-deployed, on-sync-failed, on-health-degraded]

其中 argocd-notifications-cm 中添加了一段如下所示的配置：

  subscriptions: |
    - recipients: [qywx]  # 可能有bug，正常应该是webhook:qywx
      triggers: [on-deployed, on-sync-failed, on-health-degraded]

这个是为定义的触发器添加通知订阅，当满足 [on-deployed, on-sync-failed, on-health-degraded] 这些 triggers 时，会使用 triggers 对应的 send 模版，然后使用 service.webhook 定义的信息进行消息发送。

service.webhook 提供给 subscriptions 中的 recipients 调用，用于发送消息到企业微信机器人

  service.webhook.qywx: |
    url: https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxxxx-xxxx-xxxx-xxxx-xxxxxx
    headers:
      - name: Content-Type
        value: application/json

然后可以根据不同的状态来配置不同的触发器，如下所示：

  trigger.on-sync-status-unknown: |
    - description: Application status is 'Unknown'
      send: [app-sync-degraded]  # template names
      when: app.status.sync.status == 'Unknown'

该触发器定义包括名称、条件和通知模板引用:

• send：表示通知内容使用的模板名称
• description：当前触发器的描述信息
• when：条件表达式，如果应发送通知，则返回 true

然后下面就是配置发送的消息通知模板：

  template.app-sync-change: |
    webhook:
      qywx:
        method: POST
        body: |
          {
              "msgtype": "markdown",
              "markdown": {
                  "content": "
                  ### ArgoCD服务发版成功
                  > <font color=\"info\">服务名称</font>: {{.app.metadata.name}}
                  > <font color=\"info\">app同步状态</font>: {{.app.status.operationState.phase}}
                  > <font color=\"info\">app服务状态</font>: {{.app.status.health.status}}
                  > <font color=\"info\">时间</font>: {{.app.status.operationState.startedAt}}
                  > <font color=\"info\">URL</font>: [点击跳转ArgoCD]({{.context.argocdUrl}}/applications/{{.app.metadata.name}}?operation=true)"
              }
          }
  template.app-sync-degraded: |
    webhook:
      qywx:
        method: POST
        body: |
          {
              "msgtype": "markdown",
              "markdown": {
                  "content": "
                  ### ArgoCD服务发版失败
                  > <font color=\"warning\">服务名称</font>: {{.app.metadata.name}}
                  > <font color=\"warning\">app同步状态</font>: {{.app.status.operationState.phase}}
                  > <font color=\"warning\">app服务状态</font>: {{.app.status.health.status}}
                  > <font color=\"warning\">时间</font>: {{.app.status.operationState.startedAt}}
                  > <font color=\"warning\">URL</font>: [点击跳转ArgoCD]({{.context.argocdUrl}}/applications/{{.app.metadata.name}}?operation=true)"
              }
          }

这里我们定义了2个模版，这2个模板用于生成通知内容，并且可以由多个触发器引用。每个模板默认都可以访问以下字段：

• app：保存应用程序对象
• context：是用户定义的字符串映射，可能包含任何字符串键和值
• notificationType 保留通知服务类型名称，该字段可用于有条件地呈现服务特定字段

context 定义，提供给 template 模版中使用，用于拼接 ArgoCD APP 服务地址，在报警信息中进行返回。

  context: |
    argocdUrl: https://dev-argocd.evescn.com

配置完成后我们更新整个资源清单文件：

➜  ~ kubectl -n argocd delete cm argocd-notifications-cm
➜  ~ kubectl -n argocd apply -f install.yaml
➜  ~ kubectl -n argocd delete pods argocd-notifications-controller-5b56f6f7bb-jqpng
➜  ~ kubectl get pods -n argocd
NAME                                               READY   STATUS    RESTARTS   AGE
argocd-application-controller-0                    1/1     Running   0          5d4h
argocd-dex-server-76ff776f97-ds7mm                 1/1     Running   0          5d4h
argocd-notifications-controller-5c548f8dc9-dx824   1/1     Running   0          9m22s
argocd-redis-747b678f89-w99wf                      1/1     Running   0          5d4h
argocd-repo-server-6fc4456c89-586zl                1/1     Running   0          5d4h
argocd-server-5cc96b75b4-zws2c                     1/1     Running   0          4d22h

安装完成后重新去修改下 APP 服务的镜像版本信息，Sync APP 服务，正常就可以在钉钉中收到如下所示的消息通知了，

关于 ArgoCD Notification 的更多使用可以参考官方文档了解更多：https://argo-cd.readthedocs.io/en/stable/operator-manual/notifications/。

ArgoCD webhook 配置

Argo CD 会自动检查到配置的应用变化，这是因为 Argo CD 会每个三分钟去轮询一次 Git 存储库来检测清单的变化，为了消除这种轮询延迟，我们也可以将 API 服务端配置为接收 webhook 事件的方式，这样就能实时获取到 Git 存储库中的变化了。Argo CD 支持来着 GitHub、GitLab、Bitbucket、Bitbucket Server 和 Gogs 的 Git webhook 事件，这里我们仍然以上面的 GitLab 为例来说明如果配置 Webhook。

进入到 GitLab 项目仓库 https://git.evescn.com/ops/argocd-apps 中配置 Webhooks：

Webhook 的地址填写 Argo CD 的 API 接口地址 https://dev-argocd.evescn.com/api/webhook， 下面的 Secret token 是可选的，建议添加上，任意定义即可。

然后需要将上面配置的 Secret token 添加到 Argo CD 的 Secret 配置中：

## 修改 install.yaml 配置文件
[root@node argocd]# vim install.yaml
---
apiVersion: v1
kind: Secret
metadata:
  labels:
    app.kubernetes.io/name: argocd-secret
    app.kubernetes.io/part-of: argocd
  name: argocd-secret
type: Opaque
stringData:
  # gitlab webhook secret
  webhook.gitlab.secret: evescn

[root@node argocd]# kubectl get secret argocd-secret -n argocd
---
apiVersion: v1
data:
  admin.password: JDJhJxxxxxxxxxxxxxxxxxxxxalBFUQUtwSxxxxxxxxxxxxxRiTxxxxxxxxxSR0xh
  admin.passwordMtime: MjAyMyxxxxxxxxxxxxxxxxDowMjo0NFo=
  server.secretkey: K2tEcnhGxxxxxxxxxxxxxxxxxxxxx02UnQ5dxxxxxxxxxxxxxxx2SmgvZWJEQT0=
kind: Secret
metadata:
  ......
type: Opaque

保存后，更改会自动生效，我们可以在 GitLab 这边测试配置的 Webhook，查看 Argo CD 的 API 服务 Pod 日志，正常就可以收到 Push 事件了：

[root@node argocd]# kubectl -n argocd  logs -f argocd-server-8544dd9f89-cz49l
time="2023-09-06T08:55:08Z" level=info msg="Received push event repo: http://git.evescn.com/ops/argocd-apps, revision: test, touchedHead: false"
time="2023-09-06T08:55:08Z" level=info msg="Requested app 'demo' refresh"