摘要:
搬运大佬的博客 https://www.jianshu.com/p/405956cdaca6 阅读全文
摘要:
https://www.cnblogs.com/muchen/p/5310732.html 阅读全文
摘要:
Sqoop 抽数的并行化主要涉及到两个参数:num-mappers:启动N个map来并行导入数据,默认4个; split-by:按照某一列来切分表的工作单元。 split切分算法默认是根据主键来的:比如map 个数为4,取 ( 主键最大值 - 主键最小值 )/ map 数量 ,这就分成了 4份,如果 阅读全文
摘要:
http://trumandu.github.io/2019/07/08/kafka%E5%B9%82%E7%AD%89%E6%80%A7%E5%92%8C%E4%BA%8B%E5%8A%A1%E4%BD%BF%E7%94%A8%E5%8F%8A%E5%AE%9E%E7%8E%B0%E5%8E%9F 阅读全文
摘要:
转载 https://blog.csdn.net/qq2430/article/details/80511640 replace into和on duplcate key update都是只有在primary key或者unique key冲突的时候才会执行。如果数据存在,replace into则 阅读全文
摘要:
参考链接:https://www.jianshu.com/p/90e423f0722c 阅读全文
摘要:
附上官网链接 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/deployment/hadoop.html 方法一: 方法二: 个人体验 在我配置了Hadoop_classpath之后,还是会显示 org.apa 阅读全文
摘要:
需求 对订单信息流进行监控,15分钟之内没有支付的发出警告 Flink CEP 实现 import org.apache.flink.cep.scala.{CEP, PatternStream} import org.apache.flink.cep.scala.pattern.Pattern im 阅读全文
摘要:
需求 将五分钟之内的订单信息和支付信息进行对账,对不上的发出警告 代码实现 import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.api.scala.ty 阅读全文
摘要:
需求 查询一个小时之内的用户访问量(一个用户算一个) 难点:如果用户量很多,要想用Set等数据结构实现去重不太现实,随时都会OOM,这时就得利用布隆过滤器,先判断user是否存在,不存在则计数+1,存在则不做计算,这样能节省大量的内存空间 利用Flink官方实现的布隆过滤器来实现 package p 阅读全文
摘要:
需求 求每个小时内用户点击量的TOP3,每五分钟更新一次 bean: 利用底层API实现 import java.sql.Timestamp import org.apache.flink.api.common.functions.AggregateFunction import org.apach 阅读全文
摘要:
基本思想 与flink流的join原理不同的是,Spark双流join是对俩个流做满外连接 ,因为网络延迟等关系,不能保证每个窗口中的数据key都能匹配上,这样势必会出现三种情况:(some,some),(None,some),(Some,None),根据这三种情况,下面做一下详细解析: (some 阅读全文
摘要:
参考链接https://blog.csdn.net/weixin_41279060/article/details/79045151?utm_medium=distribute.wap_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2 阅读全文
摘要:
问题 在通过flink -jdbc 连接MySQL数据库时,发现程序报错表不存在 解决 在Linux下的MySQL默认对表名字的大小写敏感,而windows下默认不敏感 参考链接:https://www.cnblogs.com/kevingrace/p/6150748.html 阅读全文
摘要:
消费太慢 考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数。(两者缺一不可) 消费太快 参考来源:https://blog.csdn.net/weixin_33797791/article/details/88003844?utm_medium=distribute.pc 阅读全文