文章分类 - 自动化运维 / 自动化日志集成
摘要：一、分区下的副本因子 1、副本因子 2、分区与消费组的关系 3、角色关系 在有多个副本的情况下，kafka会为同一个分区下的分区，设定角色关系：一个是leader和follower leader负责与外面（生产者、消费者）的角色，进行读写处理 二、leader角色选举 1、部分副本因子故障 2、所有
阅读全文
摘要：一、分区 1、文字说明 是针对于某一个主题下数据的拆分 让消费者在拿数据的时候，速度会更快 一个broker服务下可以有多个分区 某一个分区中数据是有序的，且不可修改。但不同的分区数据是无序的 新进来的消息，会追加到某一个分区的尾部 2、图形展示 二、分区与消费组之间的关系？ 1、文字说明 消费组：
阅读全文
摘要：一、主题说明 二、生产者消费者角色说明 1、生产消费者 从生产者的角度来说，他所操作的单元，一般情况下属于主题为单位 从消费者的角度来说，他所操作的单元，一般情况下属于主题为单位 生产者、消费者可以以主题更细单位来操作 >(分区)，也是消息的分类 从kafka的角度来说，没有限制生产者也没有限制消费
阅读全文
摘要：一、整体架构图 二、生产者数据同步架构 1、在用户拿取数据的时候，可以采用kafka的两种api：高级api和低级api 高级api：让用户使用时，很方便。大部分的操作都是已经封装好的。比如：当前消费到那个位置下。但是不够灵活【推荐】 低级api：没有进行封装，所有的操作由用户决定，如自己得保存某一
阅读全文
摘要：一、消息系统的说明 消息中间件\消息系统 是从一个系统将数据传递给另一个系统 如果单纯只是传递数据的存放，有很多中方式：http、rpc、webservice、定时任务 如果接受方，处理不了传递过来的数量 二、消息系统的介绍 消息系统的分类：点对点、发布-订阅 点对点：主要采用的队列方式如A->B
阅读全文
摘要：一、架构图 二、kafka-node1主机上的操作 1、zookeeper-3.4.10 1、安装Java 2、下载Zookeeper 3、解压配置 4、启动 5、端口检测 2、kafka_2.12-1.0.0 1、从官网下载Kafka安装包，解压安装，或直接使用命令下载。 2、解压安装 3、修改配
阅读全文
摘要：1 消息队列解耦综合实践 1.将所有需要收集的日志写入一个配置文件,发送至node4的Redis服务(以下配置文件在各个节点上)。 [root@linux-node3 ~]# cat /etc/logstash/conf.d/input_file_output_redis.conf input {
阅读全文
摘要：上线ELKstack前，先做好如下规范能更好的开启ELKstack之旅。 1.标准化: 1.路径规划: /data/logs/,/data/logs/access,/data/logs/error,/data/logs/run 2.格式要求: 严格要求使用json 3.命名规则: access_lo
阅读全文
摘要：Logstach收集rsyslog日志 Logstach收集tcp日志 Logstach收集java日志 Logstach收集nginx日志 Logstach收集rsyslog日志 1.修改rsyslog.conf配置文件 [root@linux-node3 elasticsearch]#vim /
阅读全文
摘要：Logstach收集rsyslog日志 Logstach收集tcp日志 Logstach收集java日志 Logstach收集nginx日志 Logstach收集rsyslog日志 1.修改rsyslog.conf配置文件 [root@linux-node3 elasticsearch]#vim /
阅读全文
摘要：一、Kibana简介 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。 Kibana版本有如下版本 Kibana
阅读全文
摘要：一、Logstash介绍 Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。 kibana也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好
阅读全文
摘要：ES集群介绍 ES默认使用组播的方式进行通讯，当我们将另外一台服务器配置完成后它就会去找其他节点 我们只需要将cluster.name：ES集群名字设置相同即可 [root@abcdocker ~]# grep '^[a-Z]' /etc/elasticsearch/elasticsearch.ym
阅读全文
摘要：没有日志分析系统 1.1运维痛点 1.运维要不停的查看各种日志。 2.故障已经发生了才看日志(时间问题。) 3.节点多，日志分散，收集日志成了问题。 4.运行日志，错误等日志等，没有规范目录，收集困难。 1.2环境痛点 1.开发人员不能登陆线上服务器查看详细日志。 2.各个系统都有日志，日志数据分散
阅读全文
摘要：ELK Stack 简介 ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显
阅读全文
