摘要:
2017年后,一大波网络喧嚣,说流式处理如何牛叉,如何高大上,抱歉,工作满负荷,没空玩那个; 今年疫情隔离在家,无聊,开始学习 KAFKA+Flink ,目前的打算是用爬虫抓取网页数据,传递到Kafka中,再用Flink计算。 个人性格原因,我不愿意过分沉迷于纸质或者电子教程材料,也不是特别喜欢网上 阅读全文
摘要:
来源于 https://www.cnblogs.com/miracleYu/p/10213807.html 1 #################consumer的配置参数(开始)################# 2 #如果'enable.auto.commit'为true,则消费者偏移自动提交给 阅读全文
摘要:
来源 https://www.jianshu.com/p/271f88f06eb3 今天我司线上kafka消息代理出现错误日志,异常rebalance,而且平均间隔2到3分钟就会rebalance一次,分析日志发现比较严重。错误日志如下 08-09 11:01:11 131 pool-7-threa 阅读全文
摘要:
来源 https://blog.csdn.net/charry_a/article/details/79892107 一、背景 kafka使用版本为0.10.1.0,今天在测试kafkaConsumer的时候,代码如下 public static void main(String[] args) { 阅读全文
摘要:
来源 https://www.jianshu.com/p/c8a271448dcd 一面 自我介绍下自己,不超过3分钟(实际上我的自我介绍不到一分钟) 你感觉比本科阶段自己进步了多少,有哪些进步 研究生期间最大的进步是什么 你觉得你适合从事哪个方向的开发 synchronized与lock的区别,使 阅读全文
摘要:
来源于 : https://www.cnblogs.com/Springmoon-venn/p/11344326.html 不过Flink IDEA中执行的webui 需要 flink-runtime-web 包的支持 pom 如下: <dependency> <groupId>org.apache 阅读全文
摘要:
来源于 https://www.jianshu.com/p/7bbf14996d39 看完了Flink的datasource、sink,也就把一头一尾给看完了,从数据流入到数据流出,缺少了中间的处理环节。 而flink的大头恰恰是只在这个中间环节,如下图: source-transform-sink 阅读全文
摘要:
来源于 https://blog.csdn.net/Mark_Chao/article/details/80810030 flatMap的用法和含义住要通过一个案例来讲解, 案例:对给定单词列表 ["Hello","World"],你想返回列表["H","e","l","o","W","r","d" 阅读全文
摘要:
来源于 https://www.cnblogs.com/Springmoon-venn/p/10690531.html 参考: 官网协议介绍:http://kafka.apache.org/protocol.html#The_Messages_Fetch kafka协议兼容性 http://www. 阅读全文
摘要:
来源于 https://blog.csdn.net/lukabruce/article/details/100737292 背景 最近项目中使用Flink消费kafka消息,并将消费的消息存储到mysql中,看似一个很简单的需求,在网上也有很多flink消费kafka的例子,但看了一圈也没看到能解决 阅读全文