在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 & 以及解决后的 空指针异常

.在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据
查看自己写的分流代码
发现过滤条件是 "insert".equals(opType) || "update".equals(opType)
而监测 未分流的数据 发现 maxwell-bootstrap 获取的数据格式是:

{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-start","ts":1600473566,"data":{}}
{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-insert","ts":1600473566,"data":{"id":1,"name":"北京","region_id":"1","area_code":"110000","iso_code":"CN-BJ"}}
{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-complete","ts":1600473566,"data":{}}

所以,没有正确过滤,把数据都过滤掉了

将过滤条件改为!"delete".equals(opType)(只要不是删除就进行分流)
发现报错:java.lang.NullPointerException

发现只要得到data数据就进行 分流,再从ProvinInfo 得到数据(这时数据有null值) 进行向hbase中插入时 调用了 saveToPhoenix 方法(相当于null.saveToPhoenix(……)),所以报错
  解决:
  再进行分流时将空值过滤掉

发现还有 空指针异常 那么是 什么问题呢?
  分析:
    我在debug时发现 空数据 已经被我过滤掉了,那是为啥还有 空指针呢?
    那就是在前边测试的时候,偏移量已经改变,但是发生了空指针异常,也就是说从偏移量读取后往hbase保存时,发生错误,偏移量没法维护,也就是偏移量没有改变,

  解决:
    注释掉往hbase写入数据时的代码,即发生错误的代码?
    再进行 sparkStreaming的 kafka 消费,这时候,偏移量会改变,就将会发生空指针异常的偏移量给跳过去

posted @ 2020-09-19 12:52  Mrzxs  阅读(600)  评论(0编辑  收藏  举报