2018年6月28日

kafka学习(七)

摘要: 跨集群数据镜像 跨集群镜像的使用场景 1.区域集群和中心集群 2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。 3.云迁移 多集群架构 跨集群中心通信的一些现实情况 1.高延迟 2.有限的宽带 3.高成本 hub和spoke架构 这种架构适用于一个中心kafka集群对应多个本地kafka集群 阅读全文

posted @ 2018-06-28 22:59 找到属于自己的天空 阅读(260) 评论(0) 推荐(0) 编辑

kafka学习(六)

摘要: 用kafka构建数据管道 把kafka看着是一个数据的端点,怎么把kafka数据移到mysql,elasticSearchs 这里面介绍kafka connect API怎么样帮忙我们把数据移到我们想要的位置。 构建数据管道时需要考虑的问题 1.及时性,kafka作为一个基于流的数据平台,提供了可靠 阅读全文

posted @ 2018-06-28 22:57 找到属于自己的天空 阅读(229) 评论(0) 推荐(0) 编辑

kafka学习(五)

摘要: kafka可靠的数据传递 kafka可靠性保证 ACID 是关系型数据库保证数据的规范,指的是原子性,一致性,隔离性和持久性,这是数据库给出的可靠性保证。 kafka给出的保证是什么? 1.kafka可以保证分区消息的顺序。 2.只有当消息被写入分区的所有同步副本时,它才认为是已提交的。 3.只要一 阅读全文

posted @ 2018-06-28 22:55 找到属于自己的天空 阅读(142) 评论(0) 推荐(0) 编辑

导航