2020 年 7月 26 日随笔档案 - 未来相濡以沫

2020年7月26日

摘要：一、辅助排序：(GroupingComparator分组) 在Reduce端对key进行分组。应用于：在接受的key为bean对象时，想让一个或几个字段相同(全部字段比较不相同)的key进入到同一个reduce方法时，可以采用分组排序。二、举例说明 1、需求 (1)统计同一品牌下，卖最贵的手机型号阅读全文

posted @ 2020-07-26 20:41 未来相濡以沫阅读(208) 评论(0) 推荐(0) 编辑

HadoopHA(高可用集群)

摘要：一、介绍： 1、所谓HA（High Available），即高可用（7*24小时不中断服务） 2、实现高可用的关键是消除单点故障，即HDFS的nameNode和YARN的resourceManager，所以HA机制就是HDFS的HA和YARN的HA。由于一个HDFS集群由一个NameNode节点和阅读全文

posted @ 2020-07-26 18:19 未来相濡以沫阅读(470) 评论(0) 推荐(0) 编辑