Hadoop常用高级特性

HDFS HA

HDFS HA(High Availability)高可用性

相同版本拷贝工具,分布式集群拷贝工具,使用MapReduce实现

DistCp Version2 Guide

HFTP协议,用于不同版本Hadoop拷贝 For example, you can do things like: hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest

HFTP Guide

HDFS联盟,用于多NameNode节点共用一套DataNode系统

HDFS Federation

文件系统快照,可用于存储一个时间点的文件系统情况,用于数据备份,防止用户错误和容灾

HDFS Snapshots

集中式缓管理系统,用于频繁使用的文件存储在NameNode节点的内存中,如hive中的fact表

Centralized Cache Management

YARN的ResourceManager HA 生产环境需要,防止单一节点的RM错误导致集群奔溃

ResourceManager High Availability

设置机器重启后从继续工作,ResourceManager Restart

ResourceManager Restart

posted @ 2017-07-10 14:00  岑忠满  阅读(288)  评论(0编辑  收藏  举报