ro0k1e

Spark读取json数据不匹配的情况

  今天晚上,我们老师给我们布置了一个任务,用spark读取一些json数据,然后做一些数据分析的任务

  

   我以为重头戏是数据分析的部分,没想到自己被读取json数据拦了1个多小时,写篇博客记录下 orz

   常规的读取数据:

 val userInfo = spark.read.format("json").
json( "WebProjectTest/data/Users_Data.log")
val userLog = spark.read.format("json").
json( "WebProjectTest/data/Log_Data.log")

 

  数据集1

   

 

  数据集2

 

 

 

  一开始我死抓数据集1,可是读取出来的数据并不是对应的,而是混乱的

 

 

 

  想了半天没想明白,然后试了下数据集2,却发现没有毛病

  这就奇了怪,难道是数据太大的原因,可是spark本来就是处理大数据的,没理由这100MB就给干趴了啊

  我决定将数据集1中的数据截取一点出来,然后自己试验一下,终于让我发现原来是

 

 

 

 

 这个0开头的问题,然后去搜了一下0开头的数据怎么处理,果然在读取json的时候有专门对应的选项

 

 

附上我搜到的结果路径

<a href>https://blog.csdn.net/weixin_42411818/article/details/98734464</a>

 

posted on 2020-06-04 21:09  ro0k1e  阅读(599)  评论(0编辑  收藏  举报

导航