Spark读取json数据不匹配的情况
今天晚上,我们老师给我们布置了一个任务,用spark读取一些json数据,然后做一些数据分析的任务
我以为重头戏是数据分析的部分,没想到自己被读取json数据拦了1个多小时,写篇博客记录下 orz
常规的读取数据:
val userInfo = spark.read.format("json").
json( "WebProjectTest/data/Users_Data.log")
val userLog = spark.read.format("json").
json( "WebProjectTest/data/Log_Data.log")
数据集1
数据集2
一开始我死抓数据集1,可是读取出来的数据并不是对应的,而是混乱的
想了半天没想明白,然后试了下数据集2,却发现没有毛病
这就奇了怪,难道是数据太大的原因,可是spark本来就是处理大数据的,没理由这100MB就给干趴了啊
我决定将数据集1中的数据截取一点出来,然后自己试验一下,终于让我发现原来是
这个0开头的问题,然后去搜了一下0开头的数据怎么处理,果然在读取json的时候有专门对应的选项
附上我搜到的结果路径
<a href>https://blog.csdn.net/weixin_42411818/article/details/98734464</a>