01 2021 档案
摘要：需求背景：在执行一个函数时可能该函数会卡住导致整个程序无法执行，这时候就需要函数超时处理了；举一个具体的例子：python在进行kafka消费数据是通常会取一批数据(例如100个)进行多线程或者多进程处理，但是kafka可能会只剩余20个数据了，这时候就会一直在等待kafka的新数据，而这20条数不
阅读全文
摘要：1、避免使用使用consumer.poll(timeout_ms=2000,max_records=10)。 该方法的作用，在固定时间内获取到固定数量的数据； 缺点：1）偶尔会出现获取不到数据的情况；2）会出现消费到重复数据的情况；3）会导致kafka出现rebalance的情况，进而使得kafka
阅读全文
摘要：应用场景：不断消费一个容器里面的数据，使用同一个线程池，实现高可用性并减少系统性能开销；（这里拿redis作为容器来做示范），线程池的使用请查看https://www.cnblogs.com/hoojjack/p/10846010.html。 需求：程序开始前创建一个线程池，然后一直用这个线程池来运
阅读全文
