随笔分类 - kafka
摘要：生产上kafka集群长时间使用会导致topic容器下已被消费的消息过多，进而导致在重新选主时切换时间长的问题。 追根到底来讲切换Leader时间都花费在zookeeper文件同步上，但是kafka恰恰没有清理已被消费消息的机制， 故导致死尸消息每次在节点重启或者切主都会时间很常，而zookeeper
阅读全文
摘要：下载：wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.12-2.1.0.tgz 解压到某文件下 ${kafka-path} 在 ${kafka-path}/bin 下 修改server.properties 中
阅读全文
摘要：Q1:Failed to start bean 'org.springframework.kafka.config.internalKafkaListenerEndpointRegistry' A1:是因为没有在注入时未对其进行配置导致，注册参照如下 Q2:a:Could not instantia
阅读全文
摘要：https://blog.csdn.net/idlqy/article/details/82869198
阅读全文
摘要：应用后台报错zookeeper连接超时，在此之前并没用出现过此类错误，是转成zookeeper集群后才出现的，(最后发现还是代码问题) 在zookeeper.out中出现too many connecttion from ^_^ip ：显示我在^_^ip上的某应用请求过度！ [maxClientCn
阅读全文
摘要：前言 最近在利用Spark streaming和Kafka构建一个实时的数据分析系统，对图书阅读数据进行分析，做实时推荐。Spark Streaming 模块是对于 Spark Core 的一个扩展，目的是为了以高吞吐量，并且容错的方式处理持续性的数据流。目前 Spark Streaming 支持的
阅读全文
