随笔分类 -  kafka

摘要:原文参考:https://www.jianshu.com/p/ff7dd5b349f1 一、CAP理论概述 1、cap 分布式系统中,一致性、可用性、分区容错性不可兼得,最多只可同时满足两个。 C(Consistency 一致性): * A read is guaranteed to return 阅读全文
posted @ 2020-01-13 15:52 米兰的小铁將 阅读(2737) 评论(0) 推荐(0) 编辑
摘要:一、Receiver模式1、 receiver模式原理图在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化,默认级别为MEMORY_AND_DISK_SER_2,这个级别也可以修改。receiver task对接收过来的数据进行存储和备份,这个过程会有节点之间的数据传输。备份完成后去zookeeper中更新消... 阅读全文
posted @ 2019-08-23 17:38 米兰的小铁將 阅读(373) 评论(0) 推荐(0) 编辑
摘要:一、kafka各成员 二、分析zookeeper元数据存储 1、创建topic 2、生产、消费 3、进入zookeeper查看 看topic 看consumer 三、leader 均衡机制 四、Kafka生产过程分析 1、写入方式 2、partition(分区) 3、Replication(副本 ) 阅读全文
posted @ 2019-08-23 13:59 米兰的小铁將 阅读(506) 评论(0) 推荐(0) 编辑
摘要:一、关于消息队列消息队列是一种应用间的通信方式,消息就是是指在应用之间传送的数据,它也是进程通信的一种重要的方式。1.消息队列的基本架构producer:消息生产者。broker:消息处理中心。consumer:消息消费者2.消息队列常用场景系统之间的解耦。高并发下的流量消峰(电商抢购活动)。异步通信(串行变并行)。3.消息队列的特点基本上都基于生产者消费者模式。必须保证数据的可靠性传输。4、点对... 阅读全文
posted @ 2019-08-22 14:41 米兰的小铁將 阅读(436) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示