见贤思小齐,知足常乐呵

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2016年2月19日

摘要: 1. 定义job名字 SET mapred.job.name='customer_rfm_analysis_L1'; 这样在job任务列表里可以第一眼找到自己的任务。 2. 少用distinct, 尽量用group by 因为会把数据弄在一个reduce中,造成数据倾斜。distinct数据数量大于 阅读全文
posted @ 2016-02-19 17:12 Suckseedeva 阅读(1509) 评论(0) 推荐(0) 编辑