spark与hive引擎差异致结果集不一致
sql样例
select * from open.dws_openmall_item_inc_d a where a.log_date = '日期' and business = 'mall' and a.item_id=10022085
hive 执行有两条数据 spark执行有一条数据,经过排查发现存储路径如
表结构
spark 中任务前面有空格的数据字段是' 10022085' 而不是'10022085' 所以查询以上sql仅一条,hive有两条