随笔分类 - kafka

kafka实战 - 数据可靠性

摘要：概述常见的存储高可用方案的根本原理就是把数据复制到多个存储设备，通过数据冗余的方式来实现数据的可靠性。比如同一份数据，一份在城市A，一份在城市B。如果城市A发生自然灾害导致机房瘫痪，那么业务就可以直接切到城市B进行服务，从而保障业务的高可用。但是这是理想情况，一旦数据被复制并且分开存储，就涉及到了阅读全文

posted @ 2018-12-09 19:30 Frogjie 阅读(538) 评论(0) 推荐(0) 编辑

kafka实战 - 处理大文件需要注意的配置参数

摘要：概述 kafka配置参数有很多，可以做到高度自定义。但是很多用户拿到kafka的配置文件后，基本就是配置一些host，port，id之类的信息，其他的配置项采用默认配置，就开始使用了。这些默认配置是经过kafka官方团队经过严谨宽泛的测试之后，求到的最优值。在单条信息很小，大部分场景下都能得到优异的阅读全文

posted @ 2018-11-28 23:09 Frogjie 阅读(3431) 评论(0) 推荐(0) 编辑

kafka实战 - 删除topic

摘要：概述在平时对kafka的运维工作中，我们经常会由于某些原因去删除一个topic，比如这个topic是测试用的，生产环境中需要删除。或者我想扩容topic的同时，这个topic中的数据我不想要了，这时候删除topic，增加broker，再重新创建topic就会是比较简单的方法。但是kafka删除to 阅读全文

posted @ 2018-11-27 22:57 Frogjie 阅读(10468) 评论(2) 推荐(1) 编辑