Kafak——日志数据策略
摘要：前言 kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。 全局设置 修改：server.properties log.retention.hours=72 log.cleanup.policy=delete 某个Topic设置 例如：将topic为logst
阅读全文
posted @ 2021-04-29 11:41
随笔分类 - Kafka
Kafka——常用命令
摘要：一、启停Kafka 1. 启动Kafka 后台常驻方式，带上参数 -daemon，如： bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties或nohup bin/kafka-server-start.s
阅读全文
posted @ 2020-06-16 13:13
Kafka——Spring集成Kafka
摘要：准备工作 安装kafka+zookeeper环境 利用命令创建好topic Pom文件,引入spring-kafka jar包这里需要注意2个地方： kafka-clients 包版本与服务器端kafka-clients版本保持一致（查看服务器kafka版本方法 在kafka安装目录下libs 中查
阅读全文
posted @ 2020-06-01 15:35
SpringKafka——消息监听
摘要：前言 Spring-Kafka中消息监听大致分为两种类型，一种是单条数据消费，一种是批量消费；两者的区别只是在于监听器一次性获取消息的数量。 GenericMessageListener是我们实现消息监听的一个接口，向上扩展的接口有非常多， 比如：单数据消费的MessageListener、批量消费
阅读全文
posted @ 2020-06-01 15:34
Prometheus + Grafana（八）系统监控之Kafka
摘要：前言 第一种：JMX https://help.aliyun.com/document_detail/141108.html?spm=a2c4g.11186623.6.621.12bb4dea7EyM9F 第二种：kafka_exporter 本文就是采用第二种方式实现，相比JMX，优势在于不需要消
阅读全文
posted @ 2020-04-20 17:09
Logstash——利用Kafka Group实现高可用
摘要：日志架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人员查看，或者是由Spark接手进入更深层次的分析。 在以上整个架
阅读全文
posted @ 2020-04-13 15:41
Kafka——副本（Replica）机制
摘要：副本定义 Kafka 是有主题概念的，而每个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有若干个副本。 所谓副本（Replica），本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存
阅读全文
posted @ 2019-12-16 15:46
Kafka——broker宕机后无法消费问题
摘要：背景 因磁盘满了，导致kafka所有的服务器全部宕机了，然后重启kafka集群，服务是启动成功了，但有一些报错： broker1： broker2： broker3：一直在刷以下错误信息 虽然报了这些错，但kafka正常启动了，通过命令测试了集群能正常生产和消费消息，但是看kafka-manager
阅读全文
posted @ 2019-12-16 11:37
Kafka——系统调优
摘要：操作系统调优 文件描述符限制 ulimit -n 的默认值是1024，此值如果设置得太小，你会碰到 Too Many File Open 这类的错误。因此，我建议在生产环境中适当调大此值，比如将其设置为 655360。 vim /etc/security/limits.conf # 加入以下配置，重
阅读全文
posted @ 2019-10-31 10:12
Kafka——彻底删除Topic
摘要：一、配置 server.properties 设置 delete.topic.enable=true 如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion） 二、停止消费 如果需
阅读全文
posted @ 2019-10-27 17:16
Kafka——指定位移消费（回溯消费）
摘要：前言 消费者在消费消息时会根据之前提交的消费位移offset去kafka拉取offset之后的消息进行消费。但是一些情况下消费者开始消费时会没有消费位移： 一个新的消费组建立的时候； 消费组内的一个新的消费者订阅了一个新的主题； __consumer_offsets主题中关于这个消费组的位移信息已经
阅读全文
posted @ 2019-10-16 11:21
Spring-kafka —— 生产者消费者重要配置
摘要：一、生产者配置 属性 描述 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群的连接，这个list仅仅影响用于初始化的hosts，来发现全部的servers。格式：host1:port1,host2:port2,…，数量尽量不止一个，以防其中一个down了 list
阅读全文
posted @ 2019-07-15 10:27
Spring-Kafka —— 实现批量消费和手动提交offset
摘要：spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把application.yml中的enable-auto-commit设置为false,设置为不自动提交 这里containerFa
阅读全文
posted @ 2019-07-15 10:15
Spring-Kafka —— 消费重试机制实现
摘要：消息处理问题 在从Kafka主题接收消息之后立即处理消息的消费者的实现非常简单。不幸的是，现实要复杂得多，并且由于各种原因，消息处理可能会失败。其中一些原因是永久性问题，例如数据库约束失败或消息格式无效。其他，如消息处理中涉及的依赖系统的临时不可用，可以在将来解决。在这些情况下，重试消息处理可能是一
阅读全文
posted @ 2019-07-13 18:07
Spring-Kafka —— 消费如何达到最高的吞吐量
摘要：首先简单的介绍一下消费者对topic的订阅。客户端的消费者订阅了topic后，如果是单个消费者，那么消费者会顺序消费这些topic分区中的数据，如果是创建了消费组有多个消费者,那么kafak的服务端将这些topic平均分配给每个消费者。比如有2个topic,每个topic有2个分区，总共有4个分区，
阅读全文
posted @ 2019-07-13 17:46
Spring-Kafka —— AckMode介绍和手动提交分析总结
摘要：前言 本文主要讲述一下spring for kafka的consumer在spring.kafka.consumer.enable-auto-commit是false情况下，AckMode的选项，及手动提交分析总结。 AckMode RECORD 每处理一条commit一次 BATCH(默认) 每次
阅读全文
posted @ 2019-07-13 17:44
Spring-Kafka —— KafkaListener定时启动和停止
摘要：一、定时启动的应用场景 比如现在单机环境下，我们需要利用Kafka做数据持久化的功能，由于用户活跃的时间为早上10点至晚上12点，那在这个时间段做一个大数据量的持久化可能会影响数据库性能导致用户体验降低，我们可以选择在用户活跃度低的时间段去做持久化的操作，也就是晚上12点后到第二条的早上10点前。
阅读全文
posted @ 2019-07-13 17:33
Spring-Kafka —— KafkaListener禁止自启动
摘要：应用服务启动时，KafkaListener默认会自动启动进行消费，如果想不自动消费，可以设置AutoStartup属性值为false 完整消费代码vk
阅读全文
posted @ 2019-07-13 17:28
Spring-Kafka —— KafkaListener手动启动和停止
摘要：一、KafkaListener消费 二、使用KafkaListenerEndpointRegistry实现启动和停止功能 三、Controller 四、JSP界面 五、功能界面
阅读全文
posted @ 2019-07-13 17:17
Kafka——在zookeeper中存储结构和查看方式
摘要：Zookeeper 主要用来跟踪Kafka 集群中的节点状态, 以及Kafka Topic, message 等等其他信息. 同时, Kafka 依赖于Zookeeper, 没有Zookeeper 是不能运行起来Kafka 的. Controller 选举: Controller 是一个特殊的Bro
阅读全文
posted @ 2019-06-24 15:08
