vernemq webhook 集成使用

vernemq支持插件化开发,包含了lua的,以及基于webhook的,基于webhook 的好处是灵活,同时保留的钩子比较多,我们可以灵活扩展
同时webhook可以基于多语言开发,缺点当然也有,webhook 的可靠性以及稳定性(也比较简单,扩展多集群)
以下是关于vernemq webhook的一个试用,环境基于docker-compose 运行(webhook为了简化试用了benthos)

系统说明

参考部署图

 

 

环境准备

  • docker-compose 文件
 
version: "3"
services:
  haproxy: 
    image: haproxytech/haproxy-debian
    networks:
      app_net:
        ipv4_address: 172.16.238.9
    volumes:
    - "./haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg"
    ports:
    - "1883:1883"
    - "10080:10080"
  webhook:
    image: jeffail/benthos
    volumes:
      - "./webhook.yaml:/benthos.yaml"
    ports:
      - "4195:4195"
    networks:
      app_net:
        ipv4_address: 172.16.238.11
  mq1:
    image: vernemq/vernemq
    ports:
    - "8080:8080"
    - "8888:8888"
    environment:
      - "DOCKER_VERNEMQ_ACCEPT_EULA=yes"
      - "DOCKER_VERNEMQ_ALLOW_ANONYMOUS=on"
    networks:
      app_net:
        ipv4_address: 172.16.238.10
  mq2:
    image: vernemq/vernemq
    environment:
      - "DOCKER_VERNEMQ_ACCEPT_EULA=yes"
      - "DOCKER_VERNEMQ_ALLOW_ANONYMOUS=on"
      - "DOCKER_VERNEMQ_DISCOVERY_NODE=172.16.238.10"
    networks:
      app_net:
        ipv4_address: 172.16.238.12
  mq3:
    image: vernemq/vernemq
    environment:
      - "DOCKER_VERNEMQ_ACCEPT_EULA=yes"
      - "DOCKER_VERNEMQ_ALLOW_ANONYMOUS=on"
      - "DOCKER_VERNEMQ_DISCOVERY_NODE=172.16.238.10"
    networks:
      app_net:
        ipv4_address: 172.16.238.13
networks:
  app_net:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.16.238.0/24

haproxy 配置

global
    log 127.0.0.1 local2
    maxconn 4000
    # turn on stats unix socket
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode tcp
    log global
    option httplog
    option dontlognull
    option http-server-close
    option forwardfor except 127.0.0.0/8
    option redispatch
    retries 3
    timeout http-request 10s
    timeout queue 1m
    timeout connect 10s
    timeout client 1m
    timeout server 1m
    timeout http-keep-alive 10s
    timeout check 10s
    maxconn 3000
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main
    bind 0.0.0.0:1883
    default_backend app
backend app
    balance roundrobin
    server app1 172.16.238.10:1883 check
    server app2 172.16.238.13:1883 check
    server app3 172.16.238.13:1883 check
listen stats
        bind 0.0.0.0:10080
        mode http
        log global
        maxconn 10
        timeout queue 100s
        http-request use-service prometheus-exporter if { path /metrics }
        stats enable
        stats uri /stats

webhook 配置(基于benthos)

input:
  type: broker
  broker:
    inputs:
      - type: http_server
        http_server:
          path: /
        processors:
          - type: text
            text:
              operator: prepend
              value: "get message: "
output:
  type: stdout
  • 简单nodejs mqtt 连接
    pacakge.json
 
{
  "name": "client",
  "version": "1.0.0",
  "main": "index.js",
  "license": "MIT",
  "dependencies": {
    "mqtt": "^4.2.6"
  },
  "scripts": {
    "app":"node app.js"
  }
}

app.js

var mqtt = require('mqtt')
var client  = mqtt.connect('mqtt://127.0.0.1')
client.on('connect', function () {
  client.subscribe('demoapp', function (err) {
    if (!err) {
      client.publish('presence', 'Hello mqtt')
    }
  })
})
client.on('message', function (topic, message) {
  // message is Buffer
  console.log(message.toString())
})
  • 集群状态

 

 

使用webhook

启用webhook插件(需要进入vernemq容器操作,而且每个都需要开启)

  • 启用插件命令
vmq-admin  plugin enable --name vmq_webhooks
  • 注册hooks
vmq-admin webhooks register hook=on_publish endpoint="http://172.16.238.11:4195"
vmq-admin webhooks register hook=on_subscribe endpoint="http://172.16.238.11:4195"
  • 查看hooks 信息
vmq-admin  webhooks show

效果

 

 

  • 发送消息

 

 

  • 查看webhook 消息

    进入benthos容器

 

 

说明

以上是一个简单的试用,webhook 部分试用了benthos(很强大,配置好了,可以直接进行数据写入操作),同时为了保证系统的可靠
使用了haproxy,如果生产使用我们可以基于haproxy 的prometheus 监控能力以及vernemq暴露的监控能力方便的进行系统监控

参考资料

https://docs.vernemq.com/plugindevelopment/webhookplugins
https://github.com/Jeffail/benthos
https://www.npmjs.com/package/mqtt
https://github.com/rongfengliang/vernemq-webhook-learnning

posted on 2020-11-28 22:15  荣锋亮  阅读(670)  评论(0编辑  收藏  举报

导航