摘要:
小结排序:1、如果只需要对数据进行过滤,筛选只需要编写Mapper类,不需要Reduce类,此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0);2、如果需要对数据集进行分组(group by)、排序(order by)、表连接(join)、排重(distinct) 阅读全文
摘要:
小结排序:1、如果只需要对数据进行过滤,筛选只需要编写Mapper类,不需要Reduce类,此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0);2、如果需要对数据集进行分组(group by)、排序(order by)、表连接(join)、排重(distinct) 阅读全文
摘要:
配置hadoop集群环境 集群节点初始化: 主机节点(4个节点): Master01:NN进程(NameNode) Slave01:DN进程(DataNode) Slave02:DN进程(DataNode) Slave03:DN进程(DataNode) 打通网络(配置静态ip地址 、修改主机名、各主 阅读全文
|