MQTT协议与ODOO的结合使用

 一、MQTT简述
     MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议,
该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。
作为一种低开销、低带宽占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。
MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛。
在很多情况下,包括受限的环境中,如:机器与机器(M2M)通信和物联网(IoT)。其在,通过卫星链路通信传感器、
偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。
 

 

 

二、设计规范

由于物联网的环境是非常特别的,所以MQTT遵循以下设计原则:
  • (1)精简,不添加可有可无的功能;
  • (2)发布/订阅(Pub/Sub)模式,方便消息在传感器之间传递;
  • (3)允许用户动态创建主题,零运维成本;
  • (4)把传输量降到最低以提高传输效率;
  • (5)把低带宽、高延迟、不稳定的网络等因素考虑在内;
  • (6)支持连续的会话控制;
  • (7)理解客户端计算能力可能很低;
  • (8)提供服务质量管理;
  • (9)假设数据不可知,不强求传输数据的类型与格式,保持灵活性。

     2.1、灵活的发布订阅和主题设计

       发布订阅模式是传统 Client/Server 模式的一种解耦方案。发布者通过 Broker 与消费者之间通信,

       Broker 的作用是将收到的消息通过某种过滤规则,正确地发送给消费者。发布/订阅模式 相对于 客户端/服务器模式 的好处在于:

       2.1.1、发布者和消费者之间不必预先知道对方的存在,比如不需要预先沟通对方的 IP Address 和 Port

       2.1.2、发布者和消费者之间不必同时运行。因为 Broker 是一直运行的。

                在 MQTT 协议里,上面提到的 过滤规则 是 Topic。比如:所有发布到 news 这个 Topic 的消息,都会被 Broker 转发给已经订阅了 news 的订阅者

 

      2.2、MQTT 的 Topic 有层级结构,并且支持通配符 + 和 #:

        + 是匹配单层的通配符。比如 news/+ 可以匹配 news/sportsnews/+/basketball 可匹配到 news/sports/basketball。  

        # 是一到多层的通配符。比如 news/# 可以匹配 news、 news/sportsnews/sports/basketball 以及 news/sports/basketball/x 等等。

             MQTT 的主题是不要预先创建的,发布者发送消息到某个主题、或者订阅者订阅某个主题的时候,Broker 就会自动创建这个主题。

 

     2.3、带宽消耗最小化

             MQTT 协议将协议本身占用的额外消耗最小化,消息头部最小只需要占用 2 个字节。

             2.3.1、MQTT 的消息格式分三部分:

            

 

 

 

             2.3.2、MQTT 的主要消息类型有:

            

 

 

 

 

 

     2.4、三个可选的 QoS 等级

            2.4.1、为适应设备不同的网络环境,MQTT 设计了 3 个 QoS 等级,0, 1, 2:

                  At most once (0)

                 At least once (1)

                Exactly once (2)

          QoS 0 是一种 "fire and forget" 的消息发送模式:Sender (可能是 Publisher 或者 Broker) 发送一条消息之后,就不再关心它有没有发送到对方,也不设置任何重发机制。

          QoS 1 包含了简单的重发机制,Sender 发送消息之后等待接收者的 ACK,如果没收到 ACK 则重新发送消息。这种模式能保证消息至少能到达一次,但无法保证消息重复。

          QoS 2 设计了略微复杂的重发和重复消息发现机制,保证消息到达对方并且严格只到达一次。

   2.5、会话保持

           MQTT 没有假设设备或 Broker 使用了 TCP 的保活机制4,而是设计了协议层的保活机制:在 CONNECT 报文里可设置 Keepalive 字段,来设置保活心跳包 PINGREQ/PINGRESP 的发送时间间             隔。当长时间无法收到设备的 PINGREQ 的时候,Broker 就会认为设备已经下线。

           总的来说,Keepalive 有两个作用:

                2.5.1、发现对端死亡或者网络中断

                2.5.2、在长时间无消息交互的情况下,保持连接不被网络设备断开

          对于那些想要在重新上线后,重新收到离线期间错过的消息的设备,MQTT 设计了持久化连接:在 CONNECT 报文里可设置 CleanSession 字段为 False,则 Broker 会为终端存储:

               设备所有的订阅

               还未被设备确认的 QoS1 和 QoS 消息

               设备离线时错过的消息

 

 

三、主要特性

           MQTT协议工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性:

              1)使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合。

                   这一点很类似于XMPP,但是MQTT的信息冗余远小于XMPP,,因为XMPP使用XML格式文本来传递数据。

            2)对负载内容屏蔽的消息传输。

            3)使用TCP/IP提供网络连接。

                 主流的MQTT是基于TCP连接进行数据推送的,但是同样有基于UDP的版本,叫做MQTT-SN。这两种版本由于基于不同的连接方式,优缺点自然也就各有不同了。

            4)有三种消息发布服务质量:

                1、 "至多一次",消息发布完全依赖底层TCP/IP网络。会发生消息丢失或重复。这一级别可用于如下情况,环境传感器数据,丢失一次读记录无所谓,因为不久后还会有第二次发送。
                      这一种方式主要普通APP的推送,倘若你的智能设备在消息推送时未联网,推送过去没收到,再次联网也就收不到了。
                2、"至少一次",确保消息到达,但消息重复可能会发生。
                3、"只有一次",确保消息到达一次。在一些要求比较严格的计费系统中,可以使用此级别。在计费系统中,消息重复或丢失会导致不正确的结果。这种最高质量的消息发布服务还可以用于即                        时通讯类的APP的推送,确保用户收到且只会收到一次。

            5)小型传输,开销很小(固定长度的头部是2字节),协议交换最小化,以降低网络流量。

                 这就是为什么在介绍里说它非常适合"在物联网领域,传感器与服务器的通信,信息的收集",要知道嵌入式设备的运算能力和带宽都相对薄弱,使用这种协议来传递消息再适合不过了。

            6)使用Last Will和Testament特性通知有关各方客户端异常中断的机制。

                 Last Will:即遗言机制,用于通知同一主题下的其他设备发送遗言的设备已经断开了连接。
                 Testament:遗嘱机制,功能类似于Last Will。

四、MQTT协议原理

        4.1 MQTT协议实现方式

              实现MQTT协议需要客户端和服务器端通讯完成,在通讯过程中,MQTT协议中有三种身份:发布者(Publish)、代理(Broker)(服务器)、订阅者(Subscribe)。其中,消息的发布者和               订阅者都是客户端,消息代理是服务器,消息发布者可以同时是订阅者。
           MQTT传输的消息分为:主题(Topic)和负载(payload)两部分:

           1)Topic,可以理解为消息的类型,订阅者订阅(Subscribe)后,就会收到该主题的消息内容(payload);

          2)payload,可以理解为消息的内容,是指订阅者具体要使用的内容。

        4.2 网络传输与应用消息

                    MQTT会构建底层网络传输:它将建立客户端到服务器的连接,提供两者之间的一个有序的、无损的、基于字节流的双向传输。
              当应用数据通过MQTT网络发送时,MQTT会把与之相关的服务质量(QoS)和主题名(Topic)相关连。

       4.3 MQTT客户端

               一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:

               1)发布其他客户端可能会订阅的信息;

               2)订阅其它客户端发布的消息;

               3)退订或删除应用程序的消息;

               4)断开与服务器连接。

    4.4 MQTT服务器

            MQTT服务器以称为"消息代理"(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间,它可以:

                1)接受来自客户的网络连接;

                2)接受客户发布的应用信息;

                3)处理来自客户端的订阅和退订请求;

                4)向订阅的客户转发应用程序消息。

    4.5 MQTT协议中的订阅、主题、会话

        一、订阅(Subscription)
              订阅包含主题筛选器(Topic Filter)和最大服务质量(QoS)。订阅会与一个会话(Session)关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。
 
        二、会话(Session)
              每个客户端与服务器建立连接后就是一个会话,客户端和服务器之间有状态交互。会话存在于一个网络之间,也可能在客户端和服务器之间跨越多个连续的网络连接。
   
        三、主题名(Topic Name)
             连接到一个应用程序消息的标签,该标签与服务器的订阅相匹配。服务器会将消息发送给订阅所匹配标签的每个客户端。
 
         四、主题筛选器(Topic Filter)
              一个对主题名通配符筛选器,在订阅表达式中使用,表示订阅所匹配到的多个主题。
 
        五、负载(Payload)
               消息订阅者所具体接收的内容。

    4.6 MQTT协议中的方法

            MQTT协议中定义了一些方法(也被称为动作),来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据,这取决于服务器的实现。通常来说,资源指服务器上的文               件或输出。主要方法有:
  • (1)Connect。等待与服务器建立连接。
  • (2)Disconnect。等待MQTT客户端完成所做的工作,并与服务器断开TCP/IP会话。
  • (3)Subscribe。等待完成订阅。
  • (4)UnSubscribe。等待服务器取消客户端的一个或多个topics订阅。
  • (5)Publish。MQTT客户端发送消息请求,发送完成后返回应用程序线程。
 
 

五、MQTT协议数据包结构

         在MQTT协议中,一个MQTT数据包由:固定头(Fixed header)、可变头(Variable header)、消息体(payload)三部分构成。MQTT数据包结构如下:

              1)固定头(Fixed header)。存在于所有MQTT数据包中,表示数据包类型及数据包的分组类标识。

             2)可变头(Variable header)。存在于部分MQTT数据包中,数据包类型决定了可变头是否存在及其具体内容。

             3)消息体(Payload)。存在于部分MQTT数据包中,表示客户端收到的具体内容。

       5.1、 MQTT固定头

              固定头存在于所有MQTT数据包中,其结构如下:
              5.1.1 MQTT数据包类型
                    位置:Byte 1中bits 7-4。
                    相于一个4位的无符号值,类型、取值及描述如下:
             
              5.1.2 标识位
                     位置:Byte 1中bits 3-0。
                     在不使用标识位的消息类型中,标识位被作为保留位。如果收到无效的标志时,接收端必须关闭网络连接:
                       1)DUP:发布消息的副本。用来在保证消息的可靠传输,如果设置为1,则在下面的变长中增加MessageId,并且需要回复确认,以保证消息传输完成,但不能用于检测消息重复发送。
                      2)QoS:发布消息的服务质量,即:保证消息传递的次数
                           Ø00:最多一次,即:<=1
                           Ø01:至少一次,即:>=1
                           Ø10:一次,即:=1
                           Ø11:预留
                      3)RETAIN: 发布保留标识,表示服务器要保留这次推送的信息,如果有新的订阅者出现,就把这消息推送给它,如果设有那么推送至当前订阅者后释放。

           5.1.3 剩余长度(Remaining Length)

                     地址:Byte 2。
                     固定头的第二字节用来保存变长头部和消息体的总大小的,但不是直接保存的。这一字节是可以扩展,其保存机制,前7位用于保存长度,
                     后一部用做标识。当最后一位为1时,表示长度不足,需要使用二个字节继续保存。例如:计算出后面的大小为0

        5.2 MQTT可变头

               MQTT数据包中包含一个可变头,它驻位于固定的头和负载之间。可变头的内容因数据包类型而不同,较常的应用是作为包的标识:
               很多类型数据包中都包括一个2字节的数据包标识字段,这些类型的包有:PUBLISH (QoS > 0)、PUBACK、PUBREC、PUBREL、PUBCOMP、SUBSCRIBE、SUBACK、UNSUBSCRIBE、                  UNSUBACK。

         5.3 Payload消息体

               Payload消息体位MQTT数据包的第三部分,包含CONNECT、SUBSCRIBE、SUBACK、UNSUBSCRIBE四种类型的消息:

                   1)CONNECT,消息体内容主要是:客户端的ClientID、订阅的Topic、Message以及用户名和密码。

                  2)SUBSCRIBE,消息体内容是一系列的要订阅的主题以及QoS。

                  3)SUBACK,消息体内容是服务器对于SUBSCRIBE所申请的主题及QoS进行确认和回复。

                  4)UNSUBSCRIBE,消息体内容是要订阅的主题。

 

 

六、项目案例:

        第一步:申请一个云mqtt服务【https://cloud.emqx.com/console/】

     

 

 

     

 

      第二步:编写pub.py

# python 3.8

import random
import time

from paho.mqtt import client as mqtt_client


broker = '39.108.126.105'
port = 1883
topic = "python-melon/mqtt"
# generate client ID with pub prefix randomly
client_id = f'python-mqtt-{random.randint(0, 1000)}'
username = 'melon1'
password = 'melon'

"""topic
   定阅与发布必须要有主题,只有当定阅了某个主题后,
   才能收到相应主题的payload,才能进⾏通信"""

def connect_mqtt():
    def on_connect(client, userdata, flags, rc):
        if rc == 0:
            print("Connected to MQTT Broker!")
        else:
            print("Failed to connect, return code %d\n", rc)
    client = mqtt_client.Client(client_id)
    client.username_pw_set(username, password)
    client.on_connect = on_connect
    client.connect(broker, port)
    return client


def publish(client):
    msg_count = 0
    while True:
        time.sleep(1)
        msg = f"messages: {msg_count}"
        result = client.publish(topic, msg)
        # result: [0, 1]
        status = result[0]
        if status == 0:
            print(f"Send `{msg}` to topic `{topic}`")
        else:
            print(f"Failed to send message to topic {topic}")
        msg_count += 1


def run():
    client = connect_mqtt()
    client.loop_start()
    publish(client)


if __name__ == '__main__':
    run()

 

       

第三步、编写sub.py

# python3.8

import random

from paho.mqtt import client as mqtt_client


broker = '39.108.126.105'
port = 1883
topic = "python-melon/mqtt"
# generate client ID with pub prefix randomly
client_id = f'python-mqtt-{random.randint(0, 100)}'
username = 'melon1'
password = 'melon'


def connect_mqtt() -> mqtt_client:
    def on_connect(client, userdata, flags, rc):
        if rc == 0:
            print("Connected to MQTT Broker!")
        else:
            print("Failed to connect, return code %d\n", rc)

    client = mqtt_client.Client(client_id)
    client.username_pw_set(username, password)
    client.on_connect = on_connect
    client.connect(broker, port)
    return client


def subscribe(client: mqtt_client):
    def on_message(client, userdata, msg):
        print(f"Received `{msg.payload.decode()}` from `{msg.topic}` topic")

    client.subscribe(topic)
    client.on_message = on_message


def run():
    client = connect_mqtt()
    subscribe(client)
    client.loop_forever()


if __name__ == '__main__':
    run()

 

 

第四步:消息发布、消息的订阅

 

 

 

 

七、MQTT服务与odoo交互

      案例代码:

      

 

       代码块是:

def publish(client):
    msg_count = 0
    while True:
        time.sleep(1)
        msg = f"messages: {msg_count}"
        result = client.publish(topic, msg)
        status = result[0]
        # 调用odoo的方法1:存在问题是只能调部分的模型
        # import odoo
        # registry = odoo.registry('odoo150042')
        # with registry.cursor() as cr:
            #通过调用数据库操作的方式来实现
            # cr.execute("SELECT login FROM res_users;")
            # records = cr.dictfetchall()
            # print ('cr-------调用数据库的方式-------',records)

            #通过调用虚拟环境方式,来实现
            # env = odoo.api.Environment(cr, odoo.SUPERUSER_ID, {})
            # oo = env['res.users'].search([])
            # print('--------调用虚拟环境方式--------',oo)

        # 通过接口的方式去请求odoo的服务
        # import requests
        # import json
        # url = "http://127.0.0.1:8080/api/test/reg"
        # payload = json.dumps({
        #     "code": "111",
        #     "name": "111"
        # })
        # headers = {
        #     'Content-Type': 'application/json',
        # }
        # response = requests.request("POST", url, headers=headers, data=payload)
        # print('----------通过接口的方式去请求odoo的服务------------', response.content)
        if status == 0:
            print(f"Send `{msg}` to topic `{topic}`")
        else:
            print(f"Failed to send message to topic {topic}")
        msg_count += 1

 

 

 

       

 

 

posted @ 2022-05-21 14:30  何双新  阅读(637)  评论(2编辑  收藏  举报