2020年5月27日

摘要： https://blog.csdn.net/wuleidaren 阅读全文

posted @ 2020-05-27 09:53 WuLei吴磊阅读(120) 评论(0) 推荐(0) 编辑

2020年3月31日

摘要：今天和同事遇到一个非常有趣的问题，在Kafka监控页面上可以看到该topic的消息会堆积到10万条左右，然后再很快的消费完毕归为0，然后又开始堆积到10万条左右，时间间隔都是3分钟。第一反应，反压？但是反压的也太整齐了吧。看了一眼代码，哈哈，CheckPoint的时间间隔是3分钟，而且是Exact 阅读全文

posted @ 2020-03-31 19:08 WuLei吴磊阅读(1317) 评论(0) 推荐(0) 编辑

2020年3月24日

定期整理

摘要： Failed to rollback to checkpoint/savepoint hdfs. Cannot map checkpoint/savepoint state for operator to the new program, because the operator is not av 阅读全文

posted @ 2020-03-24 18:01 WuLei吴磊阅读(818) 评论(0) 推荐(0) 编辑

2020年3月13日

flink源码笔记-待整理

摘要：入口类CliFrontend LinkedHashMap accessOrder default=false=insertion-order System.setOut 重定向输出流 getManiFest get main class -d detach模式， false 可以运行任务后无需再控制阅读全文

posted @ 2020-03-13 11:25 WuLei吴磊阅读(341) 评论(0) 推荐(0) 编辑

2020年3月12日

collect for changing job

摘要： dark time teaching including interview questions Flink 1、flink的运行架构 ref:https://ververica.cn/developers/advanced-tutorial-1-analysis-of-the-core-mecha 阅读全文

posted @ 2020-03-12 14:14 WuLei吴磊阅读(211) 评论(0) 推荐(0) 编辑

2020年3月10日

未知死亡-观后感

摘要： 1、感动，贫穷的女孩好不容易用全部家当买了一辆小车，当听到男孩母亲生病需要钱时就把车子卖了。以后我也要如此2、尊重印度，这个电影完全不一样，音乐剧情，每个国家都有好的一面，任何地方都有好人与坏人3、善良、美丽、爱情、执着、爱这些才是活着的体现阅读全文

posted @ 2020-03-10 14:10 WuLei吴磊阅读(153) 评论(0) 推荐(0) 编辑

2020年2月26日

flink metric checkpoints 平台化

摘要： flink平台化中，需要根据flink自身提供的restful api来获取作业checkpoints列表展示，以及根据checkpoint进行启动前的存在性校验。 restful api参考官网 https://ci.apache.org/projects/flink/flink-docs-rel 阅读全文

posted @ 2020-02-26 17:42 WuLei吴磊阅读(811) 评论(0) 推荐(0) 编辑

2020年2月25日

hadoop启动后jps命令后未找到NameNode服务

摘要：如题，按照官方文档启动部署hadoop， https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 或 https://www.cnblogs.com/hello-/artic 阅读全文

posted @ 2020-02-25 18:14 WuLei吴磊阅读(883) 评论(0) 推荐(0) 编辑

2020年2月23日

flink杂记

摘要： flink运行命令：./bin/flink run -c myflink.SocketWindowWordCount tmp/my-flink-project-0.1.jar 保存savepoint ./bin/flink savepoint 3be198ab34a38c524a7ee805cd08 阅读全文

posted @ 2020-02-23 22:02 WuLei吴磊阅读(155) 评论(0) 推荐(0) 编辑

2020年1月13日

启动springboot项目的时候，后台报错 The main resource set specified [/tmp/tomcat-docbase.xx.xx] is not valid

摘要：启动springboot项目的时候，后台报错 The main resource set specified [/tmp/tomcat-docbase.xx.xx] is not valid。磁盘满了，把/tmp下的文件删除一部分即可阅读全文

posted @ 2020-01-13 16:26 WuLei吴磊阅读(2347) 评论(0) 推荐(0) 编辑