摘要: 1 Partitioner分区 1.1 Partitioner分区描述 在进行MapReduce计算时,有时候需要把最终的输出数据分到不同的文件中,按照手机号码段划分的话,需要把同一手机号码段的数据放到一个文件中;按照省份划分的话,需要把同一省份的数据放到一个文件中;按照性别划分的话,需要把同一性别 阅读全文
posted @ 2017-09-08 12:25 人生如若初见 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 1 MapReduce编程 1.1 MapReduce简介 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算,用于解决海量数据的计算问题。 MapReduce分成了两个部分: 1、映射(Mapping)对集合里的每个目标应用同一个操作。即,如果你想把表单里每个单元格乘以二, 阅读全文
posted @ 2017-09-08 12:11 人生如若初见 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 在PostgreSQL里,with子句提供了一种方法写一个大的查询中使用的辅助报表与查询。它有助于打破复杂和大型查询简单易读的形式。 1. 建表 [sql] view plain copy postgres=# create table tb9(id serial primary key,name  阅读全文
posted @ 2017-09-08 10:38 人生如若初见 阅读(2163) 评论(0) 推荐(0) 编辑
摘要: 转自 http://blog.csdn.net/sky786905664/article/details/52742392 阅读全文
posted @ 2017-09-08 10:36 人生如若初见 阅读(1680) 评论(1) 推荐(0) 编辑