分布式消息Kafka通信原理分析
摘要：主要内容 消息的存储原理 Parition的副本机制原理 副本数据的同步原理 日志分段 LogSegment -> 日志文件默认大小 1G，当前log日志文件到达阈值1G的时候才会生成下一个分段 sh kafka-run-class.sh kafka.tools.DumpLogSegments --
阅读全文
posted @ 2021-03-07 21:30
随笔分类 - 大数据相关
分布式消息Kafka通信
摘要：主要内容 Topic & partition 消息分发策略 消息消费原理 消息的存储策略 partition副本机制 Topic & partition topic 是存储消息的逻辑概念，每一条消息发送到kakfa集群上都会有一个类别，这个类别就是topic partition 1、每个topic可
阅读全文
posted @ 2021-03-07 21:19
分布式消息Kafka初步认识及基本应用
摘要：主要内容 1. Kafka产生背景2. Kafka的架构3. Kafka的安装部署及集群部署4. Kafka的基本操作5. Kafka的应用 Kafka产生背景 kafka 作为一个消息系统，早起设计的目的是用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pip
阅读全文
posted @ 2021-03-02 21:55
Centos7 环境下安装filebeat
摘要：1、filebeat官网下载对应版本tar 包 https://www.elastic.co/cn/downloads/beats/filebeat filebeat基础配置1、配置ES连接指向2、配置默认监控数据收集3、配置默认报表面板导入地址 filebeat导入看板 3、启动命令 ./file
阅读全文
posted @ 2020-09-27 23:11
Centos7 环境下安装kibana
摘要：1、kibana官网下载对应的tar.gz压缩包 https://www.elastic.co/cn/downloads/kibana 2、解压后目录结构 3、修改kibana配置文件 默认是注释、取消注释即可 1、配置网络访问地址2、配置ES连接地址3、配置中文语言界面 4、后台启动、注意必须使用
阅读全文
posted @ 2020-09-27 23:03
