随笔分类 - kafka
摘要：如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？ 思考 解决思路 由于有的消息队列有过期失效的机制，造成了大量的消息丢失。这种情况只能将丢失的那批数据，写个临时程序，一点一点的查出来，然后重新灌入mq里面去。 大量消息在mq里积压了几个小时了还没解决 几千万条数据在MQ里积压了七
阅读全文
摘要：ReadFromJDQ3 1）消费JDQ的必要信息，通过参数传入，有6个参数 2）获取flink JDQ3的鉴权客户端 3）根据鉴权客户端获取消费属性的配置 4）构建应用环境ENV和checkpoint机制 5）构建JDQ3（基于kafka）对应的消费客户端，flink用来消费实时订单消息 6) 根
阅读全文
摘要：Kafka的Topic和Partition Topic Topic是Kafka数据写入操作的基本单元，可以指定副本 Partition 每个Partition只会在一个Broker上，物理上每个Partition对应的是一个文件夹 Kafka默认使用的是hash进行分区，所以会出现不同的分区数据不一
阅读全文
摘要：参考原博客： https://blog.csdn.net/weixin_44516305/article/details/90258883 1 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyze
阅读全文
摘要：Kafka是啥？用Kafka官方的话来说就是： Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fa
阅读全文
