hive 学习系列六 hive 去重办法的思考
摘要:
方法1,建立临时表,利用hive的collect_set 进行去重。 2,方法2, 利用row_number 去重 比如,我有一大堆的表格, 表格内容大多类似,只是有些许差别。 现在的需求是把我要统计所有的表格中,都有哪些字段,也就是把所有的表格整合成一张大表 则可以利用row_number 进行去 阅读全文
posted @ 2018-08-14 16:45 小生艺术 阅读(4017) 评论(0) 推荐(0) 编辑