在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 & 以及解决后的 空指针异常

.在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据
查看自己写的分流代码
发现过滤条件是 "insert".equals(opType) || "update".equals(opType)
而监测 未分流的数据 发现 maxwell-bootstrap 获取的数据格式是:

1
2
3
{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-start","ts":1600473566,"data":{}}
{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-insert","ts":1600473566,"data":{"id":1,"name":"北京","region_id":"1","area_code":"110000","iso_code":"CN-BJ"}}
{"database":"gmall0421_rt","table":"base_province","type":"bootstrap-complete","ts":1600473566,"data":{}}

所以,没有正确过滤,把数据都过滤掉了

将过滤条件改为!"delete".equals(opType)(只要不是删除就进行分流)
发现报错:java.lang.NullPointerException

发现只要得到data数据就进行 分流,再从ProvinInfo 得到数据(这时数据有null值) 进行向hbase中插入时 调用了 saveToPhoenix 方法(相当于null.saveToPhoenix(……)),所以报错
  解决:
  再进行分流时将空值过滤掉

发现还有 空指针异常 那么是 什么问题呢?
  分析:
    我在debug时发现 空数据 已经被我过滤掉了,那是为啥还有 空指针呢?
    那就是在前边测试的时候,偏移量已经改变,但是发生了空指针异常,也就是说从偏移量读取后往hbase保存时,发生错误,偏移量没法维护,也就是偏移量没有改变,

  解决:
    注释掉往hbase写入数据时的代码,即发生错误的代码?
    再进行 sparkStreaming的 kafka 消费,这时候,偏移量会改变,就将会发生空指针异常的偏移量给跳过去

posted @   Mrzxs  阅读(622)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up dark_mode palette
选择主题