【Kafka】binlog kafka并行消费提升小窍门
线上库存Process实例配置详情：
背景：
1.业务是通过监听 上游mysql binlog完成的 2.binlog是通过 DDH kafka下发的 3.consumer消费 已经做到了 7ms的单条消息消费性能优化 4.怎样还能再提醒 消费方的消费速率呢？ 5.当先consumer实例 蓝绿组共12个实例 2C2G (CPU2核，内存2G) 6.当前consumer 分区Partition 仅有6个
优化：
1.找DBA 调整binlog DDH生产策略，用shop+rf_id 或 shop+sku 做Hash分区数，尽可能保证 各分区生产消息均衡 2.consumer 线程数调整为 2（根据机器实际核心数2 做出调整 num.consumers） 3.binlog topic申请 分区数调整为24（蓝绿组共 12台机器，每个2核2G，consumer多线程调整为2， 则同时支持最多24个分区同时消费） （一个分区同时只能被一个线程消费，而不是一个实例） （一般设置线程数 要大于等于 分区数，这样可以保证所有分区在同一时间都可被消费，最好是线程数=分区数，匹配妥当，确保性能最佳且避免资源浪费） 4.consumer 单次可拉取消息大小 调整为max.partition.fetch.bytes=5M（默认1M, 单次取大，降低拉取消息次数，降低IO消耗）
