摘要:
一、分区下的副本因子 1、副本因子 2、分区与消费组的关系 3、角色关系 在有多个副本的情况下,kafka会为同一个分区下的分区,设定角色关系:一个是leader和follower leader负责与外面(生产者、消费者)的角色,进行读写处理 二、leader角色选举 1、部分副本因子故障 2、所有 阅读全文
摘要:
一、分区 1、文字说明 是针对于某一个主题下数据的拆分 让消费者在拿数据的时候,速度会更快 一个broker服务下可以有多个分区 某一个分区中数据是有序的,且不可修改。但不同的分区数据是无序的 新进来的消息,会追加到某一个分区的尾部 2、图形展示 二、分区与消费组之间的关系? 1、文字说明 消费组: 阅读全文
摘要:
一、主题说明 二、生产者消费者角色说明 1、生产消费者 从生产者的角度来说,他所操作的单元,一般情况下属于主题为单位 从消费者的角度来说,他所操作的单元,一般情况下属于主题为单位 生产者、消费者可以以主题更细单位来操作 >(分区),也是消息的分类 从kafka的角度来说,没有限制生产者也没有限制消费 阅读全文
摘要:
一、整体架构图 二、生产者数据同步架构 1、在用户拿取数据的时候,可以采用kafka的两种api:高级api和低级api 高级api:让用户使用时,很方便。大部分的操作都是已经封装好的。比如:当前消费到那个位置下。但是不够灵活【推荐】 低级api:没有进行封装,所有的操作由用户决定,如自己得保存某一 阅读全文
摘要:
一、消息系统的说明 消息中间件\消息系统 是从一个系统将数据传递给另一个系统 如果单纯只是传递数据的存放,有很多中方式:http、rpc、webservice、定时任务 如果接受方,处理不了传递过来的数量 二、消息系统的介绍 消息系统的分类:点对点、发布-订阅 点对点:主要采用的队列方式如A->B 阅读全文