2020年4月8日

关于30大洋看的一篇帖子(为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?)

摘要: 最近发现有好几个同学问我这个问题,为什么我的Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,我都快被问疯了,今天就给大家详细说一下这个小问题. 首先先来复现一下这个问题,我们先看下面的代码(只是一部分代码) def main(args: Arr 阅读全文

posted @ 2020-04-08 18:29 gxg123 阅读(2035) 评论(0) 推荐(0) 编辑

关于flink 程序提交到yarn上面运行的相关操作和创建checkpoint和savepoint的相关操作

摘要: 最近公司在做实时的东西,我们是采用的是消费kafka的数据 然后将kafka的数据接入到MySQL 数据库然后做一些简单的统计计算,伪实时的展示数据(10分钟进行一次) (情景描述 我们公司用的是aws的服务器。所以flink 集群当中的服务有很多台) 问题(1)通过命令行去查看flink作业的id 阅读全文

posted @ 2020-04-08 18:21 gxg123 阅读(2024) 评论(0) 推荐(0) 编辑

关于mysqldump当中遇到的坑SET @@SESSION.SQL_LOG_BIN= 0;解决方法

摘要: 今天要做一个数据需求需要讲MySQL数据回传到另外一台mysql 服务器上面去,我想着数据也不多就用MySQLdump的形式生成文件 然后将数据传入到另外一台服务器上面去。 但是在传的时候就就出现了权限不是超级 用户的问题 ,但是我在数据库里面通过delete 的方式去删除数据的时候 是可以删除的 阅读全文

posted @ 2020-04-08 16:36 gxg123 阅读(3159) 评论(0) 推荐(0) 编辑

导航