摘要: 如果不使用广播变量,那么Executor端在使用driver端的数据(变量)时,会在每个task(任务)中生成driver端的变量,容易数据冗余,所以使用广播变量 如果数据量很大,就不要使用广播变量了,数据量中小型可以,数据量太大,容易使driver端负载太严重,毕竟广播变量是在driver端只有一 阅读全文
posted @ 2020-09-19 16:58 Mrzxs 阅读(442) 评论(2) 推荐(1) 编辑
摘要: 记录一个错误, 在进行往数据库保存数据时,若出现字段不匹配。看了一下字段长度,字段名是否一致,大小写,注意字段名双引号里边千万别有空格,很操蛋 阅读全文
posted @ 2020-09-19 16:02 Mrzxs 阅读(357) 评论(0) 推荐(0) 编辑
摘要: .在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 查看自己写的分流代码 发现过滤条件是 "insert".equals(opType) || "update".equals(opType) 而监测 未分 阅读全文
posted @ 2020-09-19 12:52 Mrzxs 阅读(600) 评论(0) 推荐(0) 编辑