spark与hive引擎差异致结果集不一致

sql样例

select *
from open.dws_openmall_item_inc_d a
where  a.log_date = '日期'
  and business = 'mall'
  and a.item_id=10022085

hive 执行有两条数据 spark执行有一条数据,经过排查发现存储路径如

 

 

表结构

 

 

spark 中任务前面有空格的数据字段是' 10022085' 而不是'10022085' 所以查询以上sql仅一条,hive有两条

posted @ 2020-05-06 15:45  songchaolin  阅读(1065)  评论(0编辑  收藏  举报