lenmom

博客园 首页 新随笔 联系 订阅 管理

2022年9月21日 #

摘要: https://zhuanlan.zhihu.com/p/260077811 MQTT协议 概览 杰克物联网缝纫机的基础网络协议使用的是MQTT协议,所有网关、直连设备和服务器之间使用该协议进行通信。 MQTT是一个轻量的发布订阅模式消息传输协议,专门针对低带宽和不稳定网络环境的物联网应用设计。 M 阅读全文
posted @ 2022-09-21 14:12 老董 阅读(765) 评论(0) 推荐(0) 编辑

2019年12月18日 #

摘要: https://www.cnblogs.com/php-linux/p/10800718.html 阅读全文
posted @ 2019-12-18 21:03 老董 阅读(712) 评论(0) 推荐(0) 编辑

2019年12月13日 #

摘要: 1. 安装部署Java 下载需要安装的软件,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html 双节安装,并配置环境变量 使用下面的命令 验证Java是否安装成功 至于怎么w 阅读全文
posted @ 2019-12-13 17:38 老董 阅读(1094) 评论(0) 推荐(1) 编辑

2019年12月12日 #

摘要: kafka_start_cluster.sh kafka_stop_cluster.sh 阅读全文
posted @ 2019-12-12 10:55 老董 阅读(243) 评论(0) 推荐(0) 编辑

2019年12月11日 #

摘要: https://www.cnblogs.com/ynyhl/p/11320797.html 阅读全文
posted @ 2019-12-11 15:23 老董 阅读(378) 评论(0) 推荐(0) 编辑

摘要: 反压(Back Pressure)机制主要用来解决流处理系统中,处理速度比摄入速度慢的情况。是控制流处理中批次流量过载的有效手段。 1 反压机制原理 Spark Streaming中的反压机制是Spark 1.5.0推出的新特性,可以根据处理效率动态调整摄入速率。 1.1 反压定义 当批处理时间(B 阅读全文
posted @ 2019-12-11 14:37 老董 阅读(5416) 评论(0) 推荐(0) 编辑

摘要: 1. spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --d 阅读全文
posted @ 2019-12-11 13:49 老董 阅读(4749) 评论(0) 推荐(1) 编辑

摘要: kafka支持配额管理,从而可以对Producer和Consumer的produce&fetch操作进行流量限制,防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。 1 Kafka Quatas简介 Kafka配额管理所能配置的对象(或者说粒度)有3种: user + clien 阅读全文
posted @ 2019-12-11 13:17 老董 阅读(5141) 评论(0) 推荐(0) 编辑

摘要: 1. 客户端认证 如果kafka客户端是认证的,那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量,单位为byte/sec。cons 阅读全文
posted @ 2019-12-11 12:28 老董 阅读(3642) 评论(0) 推荐(0) 编辑

2019年12月10日 #

摘要: 1. 什么是阻塞队列? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程。 阅读全文
posted @ 2019-12-10 18:25 老董 阅读(842) 评论(0) 推荐(0) 编辑