摘要:
1. 定义job名字 SET mapred.job.name='customer_rfm_analysis_L1'; 这样在job任务列表里可以第一眼找到自己的任务。 2. 少用distinct, 尽量用group by 因为会把数据弄在一个reduce中,造成数据倾斜。distinct数据数量大于 阅读全文
摘要:
1. 定义job名字 SET mapred.job.name='customer_rfm_analysis_L1'; 这样在job任务列表里可以第一眼找到自己的任务。 2. 少用distinct, 尽量用group by 因为会把数据弄在一个reduce中,造成数据倾斜。distinct数据数量大于 阅读全文
|