Hadoop常用高级特性
HDFS HA
HDFS HA(High Availability)高可用性
相同版本拷贝工具,分布式集群拷贝工具,使用MapReduce实现
HFTP协议,用于不同版本Hadoop拷贝 For example, you can do things like: hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest
HDFS联盟,用于多NameNode节点共用一套DataNode系统
文件系统快照,可用于存储一个时间点的文件系统情况,用于数据备份,防止用户错误和容灾
集中式缓管理系统,用于频繁使用的文件存储在NameNode节点的内存中,如hive中的fact表
YARN的ResourceManager HA 生产环境需要,防止单一节点的RM错误导致集群奔溃
ResourceManager High Availability
设置机器重启后从继续工作,ResourceManager Restart
岑忠满的博客新站点
http://cenzm.xyz