摘要: 把hive 表stu77 的数据写入 mysql 表test_stu 中. 中间可以加自己的逻辑. import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.StatementSe 阅读全文
posted @ 2020-12-04 22:59 宁君 阅读(2330) 评论(3) 推荐(0) 编辑
摘要: 数组与链表的优缺点 原理 数组,在内存上给出了连续的空间. 链表,内存地址上可以是不连续的, 数组: 优点:使用方便 ,查询效率 比链表高,内存为一连续的区域 缺点:大小固定,不适合动态存储,不方便动态添加 链表: 优点:可动态添加删除 大小可变 缺点:只能通过顺次指针访问,查询效率低 链表和数组的 阅读全文
posted @ 2020-11-25 15:19 宁君 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 查看正在进行的任务 ./flink list 取消job并保存状态 ./flink cancel -s jobid 重启job ./flink run -s savepointPath -c 主类 xxx.jar 阅读全文
posted @ 2020-11-25 11:41 宁君 阅读(1911) 评论(0) 推荐(0) 编辑
摘要: Flink优化 1.使用flink tuples tuples 是否比pojo性能好呢? 是的. 类继承自 Tuple public class ProvinceEvent extends Tuple3<Long,String,String> { // private Long timestamps 阅读全文
posted @ 2020-11-25 11:32 宁君 阅读(466) 评论(0) 推荐(0) 编辑
摘要: prometheus+grafana 监控hadoop、yarn https://blog.csdn.net/c275090933/article/details/82108014 Prometheus+Grafana搭建监控系统 https://www.jianshu.com/p/5f74d22b 阅读全文
posted @ 2020-11-25 11:30 宁君 阅读(758) 评论(0) 推荐(1) 编辑
摘要: 写入redis resultStream.addSink(new RedisSink(FlinkUtils.getRedisSinkConfig(parameters),new MyRedisMapper())); getRedisSinkConfig public static FlinkJedi 阅读全文
posted @ 2020-11-25 11:25 宁君 阅读(1089) 评论(0) 推荐(0) 编辑
摘要: Flink批处理与hbase的读写 source-hbase 父类 是模仿官方写的. import org.apache.flink.api.common.io.LocatableInputSplitAssigner; import org.apache.flink.api.common.io.Ri 阅读全文
posted @ 2020-11-25 11:12 宁君 阅读(939) 评论(0) 推荐(0) 编辑
摘要: flink on yarn 为什么要用yarn? 如果不用yarn.假设有10个job运行在flink集群上,如果有一个出问题.发生了OOM,最后导致taskmanager挂掉.那么jobmanager会调度任务到其他的taskmanager上面.最后是连锁反应,会造成所有的taskmanager都 阅读全文
posted @ 2020-11-25 10:38 宁君 阅读(1104) 评论(0) 推荐(1) 编辑
摘要: 使用 RichAsyncFunction 加 CacheBuilder CacheBuilder.newBuilder() //最多存储10000条 .maximumSize(10000) //过期时间为1分钟 .expireAfterWrite(60, TimeUnit.SECONDS) .bui 阅读全文
posted @ 2020-11-25 10:29 宁君 阅读(715) 评论(0) 推荐(0) 编辑
摘要: 结果 /** * @author WeiJiQian * BF_CARDINAL_THRESHOLD BF_FALSE_POSITIVE_RATE 保存的数据量 * 100,0000 0.01 391万 * 1000,0000 0.01 3700万 * 1,0000,0000 0.01 total: 阅读全文
posted @ 2020-11-25 10:23 宁君 阅读(279) 评论(0) 推荐(0) 编辑