摘要：
8.3 HDFS-HA集群配置 8.3.1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 8.3.2 规划集群 表3-1 hadoop102 hadoop103 hadoop104 NameNode Na 阅读全文
摘要：
Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMas 阅读全文
摘要：
1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不 阅读全文
摘要：
1.1.HDFS. 它是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现功能，集群中的服务器有各自的角色。 适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据的分析，并不适合用来做网盘应用。 1.1.1NameNode：就是master，它 阅读全文