摘要：一、生产者负载均衡 1、分区器 使用分区器，kafka生产消息时，根据分区器将消息投递到指定的分区中。 Kafka默认的分区器时DefaultPartitioner。它的分区策略是根据key进行分配的。 如果key不为null： 对key值进行Hash计算，算出一个分区号； 拥有相同Key值被写入同
阅读全文
posted @ 2021-11-03 11:53
随笔分类 - V. Kafka
摘要：目前kafka集群有3个节点，server.properties 配置 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 目前设置
阅读全文
posted @ 2021-11-02 20:00
摘要：2、kafka副本集 kafka副本集是指将日志复制多份 kafka可以为每个Topic设置副本集 Kafka可以通过配置设置默认副本集数量。 3、集群概念介绍 Broker： 一般指Kafka的部署节点 Leader： 用于处理消息的接收和消费等请求。 Follower：主要用于备份消息数据。 K
阅读全文
posted @ 2021-10-23 21:42
摘要：一、Kafka Stream介绍 Kafka Stream是处理分析存储在Kafka数据的客户端程序库 Kafka Stream通过state store可以实现高效状态操作。 支持原语Processor和高层抽象DSL 二、Kafka高层架构图 三、Kafka Stream关键词 流及流处理器 流
阅读全文
posted @ 2021-10-15 11:50
摘要：zookeepe版本: zookeeper-3.4.13, 安装路径/usr/local/zookeeper-3.4.13/ kafka版本：kafka_2.13-2.6.0.tgz 一、Zookeeper配置 安装Zookeeper 参考: Zookeeper的下载、安装和启动 Zookeeper
阅读全文
posted @ 2021-09-30 10:19
摘要：1、最简单的consumer使用（工作中不推荐使用） 每次启动，都会重新收到一次。解决方法，业务处理成功后收到提交。 private static void helloWorld(){ Properties prop = new Properties(); prop.put(ProducerConf
阅读全文
posted @ 2021-09-12 23:38
摘要：一、Producer发送 1、Producer发送模式同步发送异步发送异步回调发送 2、异步发送 /** * Producer异步发送 */ public static void producerSend(){ Properties properties = new Properties(); pr
阅读全文
posted @ 2021-09-11 20:01
摘要：引入kafka依赖 <!--kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.7.RELEASE</version
阅读全文
posted @ 2021-09-11 15:35
摘要：Kibana版本为7.4.2，与ElasticSerach 7.4.2 保持一致。 1、解压 cd /home/tools tar -zxvf kibana-7.4.2-linux-x86_64.tar.gz mv kibana-7.4.2-linux-x86_64 /usr/local/ 2、修改
阅读全文
posted @ 2021-02-20 16:39
摘要：ElasticSearch安装请参考： Linux 下ElasticSearch安装 登录Kibana， 点击Manage， 点击Index Patterns， 然后创建index pattern。 输入app-log-*, 点击Next step 点击创建 点击搜索，点击索引app-log-* 可
阅读全文
posted @ 2021-02-20 16:37
摘要：一、应用场景 1、消息队列 2、行为跟踪 3、元信息监控 4、日志收集 5、流处理 6、事件源 7、持久性日志 commit log 二、案例 1.下载与安装 1)Zookeeper下载 http://zookeeper.apache.org/releases.html#download 2)Kaf
阅读全文
posted @ 2021-02-20 16:35
摘要：分布式消息队列（MQ）应用场景 服务解耦 削峰填谷 异步化缓冲 分布式消息队列(MQ)应用思考点？ 生产端可靠性投递 消费端幂等 高可用 低延迟 消息可靠性 扩展性 堆积能力 分布式消息队列（MQ）与技术选型 主流的分布式消息中间件 ActiveMQ： 传统行业，中小型公司，并发和消息的承载能力不是
阅读全文
posted @ 2021-02-20 16:33
摘要：一、logstash安装 logstash作为kafka日志的消费者 1、将文件上传到服务器/home/tools路径下 tar -zxvf logstash-7.4.2.tar.gz -C /usr/local/ 进入/usr/local/logstash-7.4.2，查看文件 2、创建scrip
阅读全文
posted @ 2021-01-14 16:33
摘要：一、设计 1、海量日志收集架构设计(ELK) Beats: 主要用于收集日志 Filebeat： 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用Filebeat将收集过来数据转储到Kafka） Logstash： 对日志进行过滤。对过滤的数据存储到Elasticsearch Kibana
阅读全文
posted @ 2021-01-14 13:48
摘要：一、准备 1、启动zookeeper 2、启动kafka 3、kafka创建主题。主题名称为：couponTopic ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1
阅读全文
posted @ 2020-06-01 14:46
摘要：一、安装Zookeeper 参考: Zookeeper的下载、安装和启动 Zookeeper 集群搭建--单机伪分布式集群 二、下载Kafka 进入http://kafka.apache.org/downloads 我这里使用版本：kafka_2.11-1.0.1.tgz 三、Kafka目录 解压到
阅读全文
posted @ 2019-04-22 16:00
摘要：一. 什么是Kafka 面向数据流的生产，转换，存储，消费的整体流处理平台。（分布式流处理平台） Kafka是基于zookeeper的分布式消息系统。 Kafka具有高吞吐率、高性能、实时及高可靠等特点。 二、Kafka特性 1、发布和订阅数据的流，类似于消息队列，消息系统 2.、分布式流处理平台
阅读全文
posted @ 2018-09-11 23:43
