摘要: 1. 消费方式 consumer采用pull(拉)模式从broker中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而pul 阅读全文
posted @ 2023-04-25 14:29 root-kai 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1. 分区策略 分区的原因 方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据。 可以提高并发,因为可以以Partition为单位读写了 分区的原则 指明 partition 的情况下,直接 阅读全文
posted @ 2023-04-25 14:23 root-kai 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1. 消息队列 1.1 传统消息队列的应用场景 MQ传统应用场景之异步处理 1.2 消息队列的两种模式 1) 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。 消息被消费以后,queue中不再有存储,所 阅读全文
posted @ 2023-04-25 14:03 root-kai 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 1. 查看当前服务器中的所有topic [hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181/kafka --list 2. 创建topic [hadoop@hadoop1 ~]$ kafka-topics.sh --create 阅读全文
posted @ 2023-04-24 00:03 root-kai 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 1. 集群规划 NameNode DataNode NodeManager QuorumPeerMain(zk) SecondaryNameNode ResourceManager Kafka hadoop1 ✅ ✅ ✅ ✅ ✅ hadoop2 ✅ ✅ ✅ ✅ ✅ hadoop3 ✅ ✅ ✅ ✅ ✅ 阅读全文
posted @ 2023-04-23 23:18 root-kai 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 去掉此图标 配置文件:application.yml 添加内容: mybatis-plus: global-config: banner: false 阅读全文
posted @ 2023-04-02 02:26 root-kai 阅读(873) 评论(0) 推荐(1) 编辑
摘要: SpringBoot 启动的时候会有如下图标 如果想去掉此图标在配置文件添加一下内容 配置文件:application.yml 添加内容: spring: main: banner-mode: off # 关闭SpringBoot启动图标(banner) 阅读全文
posted @ 2023-04-01 23:19 root-kai 阅读(520) 评论(0) 推荐(0) 编辑
摘要: Logback最常用就是在/src/main/resource/文件夹下的logback.xml文件中。,从而对日志进行配置输出。logback主要包含三个组成部分:Loggers(日志记录器)、Appenders(输出目的在)、Layouts(日志输出格式) 下面就是一个常用的日志配置模版,下面就 阅读全文
posted @ 2023-03-28 11:29 root-kai 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 1. ParameterTool简介 ParameterTool是Flink提供的读取程序启动参数,配置文件,环境变量以及Flink自身配置参数等配置的一个工具类。 2.ParameterTool使用实例 2.1 从启动参数中获取配置 程序启动时,传入参数 --name 获取参数: Paramete 阅读全文
posted @ 2023-03-17 21:57 root-kai 阅读(325) 评论(0) 推荐(0) 编辑
摘要: 一. 认识Docker 我们写的代码会接触好几个环境:开发环境,测试环境以及生产环境 开发环境:程序员开发代码的环境 测试环境:开发完的代码部署到测试环境 给测试人员进行测试 生产环境:测试完成后有运维人员部署到生产环境 整个项目写代码和部署的过程:首相程序员在自己的电脑安装开发所需的环境并编写代码 阅读全文
posted @ 2021-10-30 17:51 root-kai 阅读(262) 评论(0) 推荐(0) 编辑