kafka基础知识

kafka基础概念

       kafka的AKF切分的三个维度

          1.topic  

             逻辑组件

          2.partition 分区

               物理组件 一个topic包含多个partition

               分区内部是有序的,分区的外部是无序的

               一个消费者只在一个分区中按照顺序取数据的话,那么它一定是像取队列数据一样,是按照推送到队列的顺序取的分区中的数据

          3.副本

              kafka只能在主分片上进行读写,副本只做数据备份不接受任何的读写请求

       kafka的broker概念

            borker就是kafka的一个jvm进程

       offset

            消息偏移量

           消费者在正常运行的时候在内存中维护了自身的offset
           老版本kafka把consumer的offset存储到zookeeper中
           新版kafka创建一个topic专门用来存储offset

     offset存储位置
         zk, kafka topic, redis,mysql

     offset存储频率
        根据业务不同,采用不同的方式

        根据offset不同的维护方式，消费者在消费的时候会有消息的丢失和消息的重复消费情况发生

      producer 生产者

          生产者是用来向partition填充数据用的

      consumer 消费者

          消费者是可以分组的，组和组之间是相互隔离的

         

副本同步集合分类

      

      

        

       

 ACK应答机制