2020年3月2日
摘要: kafka高效写数据 1.顺序写磁盘 kafka的producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端,为顺序写,官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有100M/s,这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁盘寻址的时间; 2.零复 阅读全文
posted @ 2020-03-02 16:31 wnwn 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 1.消费方式 consumer采用pull(拉)模式从broker中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由broker决定的。它的目标是尽可能的以最快速度传递消息,但是这样很容易造成consumer来不及处理消息。典型的表现就是拒绝服务以及网络拥塞,而pul 阅读全文
posted @ 2020-03-02 16:17 wnwn 阅读(229) 评论(0) 推荐(0) 编辑