在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据 & 以及解决后的 空指针异常
.在进行maxwell-boostrap同步mysql历史数据的时候,发现能从mysql到kafka,但是做分流的时候到ods层时,没有获取到数据
查看自己写的分流代码
发现过滤条件是 "insert".equals(opType) || "update".equals(opType)
而监测 未分流的数据 发现 maxwell-bootstrap 获取的数据格式是:
1 2 3 | { "database" : "gmall0421_rt" , "table" : "base_province" , "type" : "bootstrap-start" , "ts" : 1600473566 , "data" : {}} { "database" : "gmall0421_rt" , "table" : "base_province" , "type" : "bootstrap-insert" , "ts" : 1600473566 , "data" : { "id" : 1 , "name" : "北京" , "region_id" : "1" , "area_code" : "110000" , "iso_code" : "CN-BJ" }} { "database" : "gmall0421_rt" , "table" : "base_province" , "type" : "bootstrap-complete" , "ts" : 1600473566 , "data" : {}} |
所以,没有正确过滤,把数据都过滤掉了
将过滤条件改为!"delete".equals(opType)(只要不是删除就进行分流)
发现报错:java.lang.NullPointerException
发现只要得到data数据就进行 分流,再从ProvinInfo 得到数据(这时数据有null值) 进行向hbase中插入时 调用了 saveToPhoenix 方法(相当于null.saveToPhoenix(……)),所以报错
解决:
再进行分流时将空值过滤掉
发现还有 空指针异常 那么是 什么问题呢?
分析:
我在debug时发现 空数据 已经被我过滤掉了,那是为啥还有 空指针呢?
那就是在前边测试的时候,偏移量已经改变,但是发生了空指针异常,也就是说从偏移量读取后往hbase保存时,发生错误,偏移量没法维护,也就是偏移量没有改变,
解决:
注释掉往hbase写入数据时的代码,即发生错误的代码?
再进行 sparkStreaming的 kafka 消费,这时候,偏移量会改变,就将会发生空指针异常的偏移量给跳过去
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?