摘要: 最近用Maxwell解析MySQL的Binlog,发送到Kafka进行处理,测试的时候发现一个问题,就是Kafka的Offset严重倾斜,三个partition,其中一个的offset已经快200万了,另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接 阅读全文
posted @ 2018-08-24 17:52 piperck 阅读(2479) 评论(0) 推荐(1) 编辑
摘要: 由于阿里云策略问题,要求用户从经典网络中全部迁出,搬迁到他们设置的 VPC 网络中。这里的 VPC 大概指的是逻辑上的一个虚拟局域网。即使是实际上你的机器垮机房在阿里云的不同机房。但是他们仍然能从逻辑上属于一个 VPC。这次搬迁涉及到的主要问题是,目前手里的机器有很多都不太清楚在做什么,上面的服务是 阅读全文
posted @ 2018-08-24 17:46 piperck 阅读(590) 评论(2) 推荐(0) 编辑