sixinshuier

2022年8月11日

摘要：生产者发送消息的分区策略分区是实现负载均衡以及高吞吐量的关键。 Kafka为了增加系统的伸缩性(Scalability)，引入了分区(Partitioning)的概念。 Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志。主题下的每条消息只会阅读全文

posted @ 2022-08-11 12:50 sixinshuier 阅读(782) 评论(0) 推荐(0) 编辑

kafka 消费者

摘要：消费者消费者和消费者组 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。消费者组1和消费者组2可以同时消费所有消息，互不影响。再平衡：分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为再均衡。消费者通过向被指派为群组协调阅读全文

posted @ 2022-08-11 12:47 sixinshuier 阅读(113) 评论(0) 推荐(0) 编辑

2022年8月10日

kafka 生产者（下）

摘要：保证数据的可靠性、数据的传递语义、幂等性、事务生产者-数据的可靠性 ACKS 0: 生产者发送过来的数据，不需要等数据落盘应答。 1: 生产者发送过来的数据，Leader收到数据后应答。 ==应答完成后，还没开始同步副本，Leader挂了，新的Leader不会收到Hello的信息，因为生产者阅读全文

posted @ 2022-08-10 13:45 sixinshuier 阅读(93) 评论(0) 推荐(0) 编辑

kafka 生产者（上）

摘要： kafka 生产者整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender线程（发送线程）。主线程中由KafkaProducer创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器（RecordAccumulator，也称为消息收集器）中。 Sender 线阅读全文

posted @ 2022-08-10 13:42 sixinshuier 阅读(68) 评论(0) 推荐(0) 编辑

为什么使用kafka

摘要：为什么使用kafka 多个生产者 Kafka可以无缝地支持多个生产者，不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统收集数据，并以统一的格式对外提供数据。多个消费者支持多个生产者外，Kafka也支持多个消费者从一个单独的消息流上读取数据，而且消费者之间互不影响。基于磁盘的阅读全文

posted @ 2022-08-10 13:40 sixinshuier 阅读(434) 评论(0) 推荐(0) 编辑

kafka 重要参数

摘要： kafka 重要参数 Broker 端参数 broker.id 每个broker都需要有一个标识符，使用broker.id来表示。它的默认值是0，也可以被设置成其他任意整数。这个值在整个Kafka集群里必须是唯一的。 Port: 如果使用配置样本来启动Kafka，它会监听9092端口。修改port配阅读全文

posted @ 2022-08-10 13:39 sixinshuier 阅读(443) 评论(0) 推荐(0) 编辑

kafka 基本概念

摘要： kafka 基本概念消息：Record。Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。分区：Partition。一个有序不变的消息序列。每个主题下可以有多个分区。消息位移：Offset。表阅读全文

posted @ 2022-08-10 13:38 sixinshuier 阅读(69) 评论(0) 推荐(0) 编辑

kafka-常用命令

摘要：常用命令创建Topic： ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic shixTopic --partitions 2 --replication-factor 1 查看Topic： ./kafka-to 阅读全文

posted @ 2022-08-10 13:36 sixinshuier 阅读(37) 评论(0) 推荐(0) 编辑

Mac 安装kafka

摘要： Mac 安装kafka 百度云盘：链接: https://pan.baidu.com/s/1mS6MVBehe2Kko70Zdln-hA?pwd=62wr 提取码: 62wr kafka的官网地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/3 阅读全文

posted @ 2022-08-10 13:33 sixinshuier 阅读(221) 评论(0) 推荐(0) 编辑

docker-compose 安装kafka

摘要： docker-compose 安装kafka docker-compose.yml如下： version: '2' services: zookeeper: container_name: zookeeper image: wurstmeister/zookeeper volumes: - ./zo 阅读全文

posted @ 2022-08-10 13:29 sixinshuier 阅读(861) 评论(0) 推荐(0) 编辑

公告