摘要:
Kettle介绍 是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定,采用LGPL授权协议的自由软件,开发出来的新软件可以是私有的而不需要是自由软件,即可以放心自由地使用。 Backpressure 其实是一种现象:在数据流从上游生产者向下游 阅读全文
摘要:
http调用接口 优点: 开发简单,耦合低 直接返回其他服务的处理结果 缺点: 依赖性强, 被调用服务如果宕机问题: 需要有防止数据丢失等处理逻辑,分布式事务问题(当然简单场景也可以直接返回失败) 要处理好超时时间,或者熔断策略,处理不好会导致本服务的cpu内存资源的大幅度飙升,最终导致服务崩溃。 阅读全文
摘要:
多分区对应一个消费组的多个pod时 1.消息发送会根据多个分区自动分配一个分组内的多个pod -如果用单分区,则不用考虑多台机器同时消费的问题,能大大简化,但性能不高。 2.多pod同时消费,要考虑数据一致性问题,每个消息最好放入一个业务含义唯一的key 3.消费过程,重复-丢失,这两者是二选一的关 阅读全文