摘要: 由于底层的CNC机床必须使用MQTT通信,所以采用MQTT作为底层的通讯协议,再上传到kafka集群。 现在有两种实现方案:一种是使用mqtt-kafka connector,相当于直接使用两者之间的接口通信;另一种是设置一个gateway。 由于暂未找到合适的python接口,所以自己简单实现了一 阅读全文
posted @ 2018-08-14 10:05 下划线是我 阅读(9719) 评论(5) 推荐(2) 编辑
摘要: 在搭建Kafka集群后,用CLI创建生产者和消费者并传输中文时,出现丢字/乱码的现象,但是基于Python/Java的传输没有类似情形。应该是CLI的编码和解码问题。 阅读全文
posted @ 2018-08-13 14:07 下划线是我 阅读(480) 评论(0) 推荐(0) 编辑
摘要: 基础通讯 Producer.py Producer.py Consumer.py Consumer.py 分区实现 pro_partition.py pro_partition.py con_partition.py con_partition.py 阅读全文
posted @ 2018-08-08 16:34 下划线是我 阅读(4026) 评论(1) 推荐(0) 编辑
摘要: 参考文献:https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#consumer Producer.poll(timeout) timeout (float) – Maximum time to blo 阅读全文
posted @ 2018-08-08 15:55 下划线是我 阅读(5121) 评论(1) 推荐(0) 编辑
摘要: 参考:https://www.jianshu.com/p/9e72b3942c59 原因是在kafka集群kafka/config/server.properties文件中num.patitions = 1. 需要修改分区默认值。 partitions在是在创建topic的时候默认创建的partit 阅读全文
posted @ 2018-08-07 19:01 下划线是我 阅读(1513) 评论(0) 推荐(0) 编辑
摘要: 依赖: kafka_2.12-2.0.0.jar、kafka-clients-2.0.0.jar、log4j-1.2.17.jar、slf4j-api-1.7.25.jar、slf4j-log4j12-1.7.25.jar lkafkaConstants.java package kafka_pro 阅读全文
posted @ 2018-08-07 14:12 下划线是我 阅读(729) 评论(0) 推荐(0) 编辑
摘要: 参考文献: https://blog.csdn.net/zxy987872674/article/details/72466504/ 如果是用虚拟机,需要在kafka_logs里同时修改meta.properties里的broker.id 阅读全文
posted @ 2018-08-06 15:49 下划线是我 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 把所有需要修改的ip修改一致,如果用localhost都用localhost,如果用本地IP都用本地IP。 关键修改的配置文件 kafka/config/server.properties producer.properties consumer.properties zk/config/zoo.c 阅读全文
posted @ 2018-08-06 09:49 下划线是我 阅读(2779) 评论(0) 推荐(0) 编辑
摘要: 参考资料: https://blog.csdn.net/xiewendong93/article/details/50500471 https://my.oschina.net/phoebus789/blog/730787 https://blog.csdn.net/qinglu000/articl 阅读全文
posted @ 2018-08-03 08:21 下划线是我 阅读(335) 评论(0) 推荐(0) 编辑
摘要: 参考资料: https://www.youtube.com/watch?v=GRPLRONVDWY https://stackoverflow.com/questions/37391827/what-is-the-difference-between-mqtt-broker-and-apache-k 阅读全文
posted @ 2018-08-02 14:49 下划线是我 阅读(176) 评论(0) 推荐(0) 编辑