会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Mrzxs
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
16
17
18
19
20
21
22
23
24
···
29
下一页
2020年9月20日
在进行equals操作时,使用 常量值去 equals 变量
摘要: "XXXX".equals(tableName)一般是这样去进行比较这样不会出现空指针异常,如果使用变量名去equals时容易出现空指针异常
阅读全文
posted @ 2020-09-20 09:08 Mrzxs
阅读(254)
评论(0)
推荐(0)
编辑
关于spark-core中一个main方法中有多个会提交的算子
摘要: 1.foreachRDD会提交状态,如果一个main方法中有两个foreachRDD,那么前一个foreachRDD会执行两边,第一次没啥用(这时候在前边加一个cache缓存,可以解决)
阅读全文
posted @ 2020-09-20 09:07 Mrzxs
阅读(194)
评论(0)
推荐(0)
编辑
2020年9月19日
广播变量什么时候使用?
摘要: 如果不使用广播变量,那么Executor端在使用driver端的数据(变量)时,会在每个task(任务)中生成driver端的变量,容易数据冗余,所以使用广播变量 如果数据量很大,就不要使用广播变量了,数据量中小型可以,数据量太大,容易使driver端负载太严重,毕竟广播变量是在driver端只有一
阅读全文
posted @ 2020-09-19 16:58 Mrzxs
阅读(442)
评论(2)
推荐(1)
编辑
在进行往数据库保存数据时,若出现字段不匹配
摘要: 记录一个错误, 在进行往数据库保存数据时,若出现字段不匹配。看了一下字段长度,字段名是否一致,大小写,注意字段名双引号里边千万别有空格,很操蛋
阅读全文
posted @ 2020-09-19 16:02 Mrzxs
阅读(357)
评论(0)
推荐(0)
编辑
在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 & 以及解决后的 空指针异常
摘要: .在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 查看自己写的分流代码 发现过滤条件是 "insert".equals(opType) || "update".equals(opType) 而监测 未分
阅读全文
posted @ 2020-09-19 12:52 Mrzxs
阅读(600)
评论(0)
推荐(0)
编辑
上一页
1
···
16
17
18
19
20
21
22
23
24
···
29
下一页
公告