MapReduce-PRODUCTION-DEMAND

 

【粗暴的HIVE-SQL】
select xyz from abc where ty='sdk' and ret_code=0 and data_source_type=1 and dt between '20171013' and '20171016' limit 1200000;
一个手机几天就在同一个地理位置;
 
【互异MAC—30/(120*10)】
120万组有定位结果的信号的Mac出现次数(120万*10)中,Mac集合的元素个数占总出现次数的比例:2.5%,"粗暴的HIVE-SQL"导致了Mac的稀疏灾难;
故在从Hadoop栈导出数据的环节,进行MapReduce处理,提高导出数据中Mac的丰富度。
 

posted @ 2017-10-17 15:10  papering  阅读(181)  评论(0编辑  收藏  举报