随笔分类 -  Hadoop

Hadoop集群原理与运维实践
Apache hadoop namenode ha和yarn ha ---HDFS高可用性
摘要：HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary 阅读全文
posted @ 2019-06-14 17:42 春困秋乏夏打盹 阅读(521) 评论(0) 推荐(0) 编辑
hadoop报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
摘要：1 解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 查看 给hadoop执行操作了 阅读全文
posted @ 2019-06-14 14:51 春困秋乏夏打盹 阅读(1323) 评论(0) 推荐(0) 编辑
5 centos 6.10 三节点安装apache hadoop 2.9.1
摘要：Hadoop 版本： apache hadoop 2.9.1JDK 版本： Oracle JDK1.8集群规划master（1）： NN， RM， DN， NM， JHSslave1（2）： DN， NMslave2（3）： DN， NMjdk-8u172-linux-x64.tar.gzhadoo 阅读全文
posted @ 2019-05-31 16:37 春困秋乏夏打盹 阅读(363) 评论(0) 推荐(0) 编辑
4 cdh 5.12 centos 6.10三节点安装
摘要：4 cdh 5.12 centos 6.10 三节点安装 阅读全文
posted @ 2019-05-24 16:12 春困秋乏夏打盹 阅读(639) 评论(0) 推荐(0) 编辑
3 hadoop安装Standalone模式和伪分布式模式
摘要：1 Standalone模式默认模式，即默认配置即是standalone模式装好hadoop-client，会将依赖的包安装好yum install hadoop-client配置文件各个配置文件在/etc/hadoop/conf下特别注意：Standalone模式下，HDFS是用本地文件系统来模拟 阅读全文
posted @ 2019-05-17 17:10 春困秋乏夏打盹 阅读(1135) 评论(0) 推荐(0) 编辑
2 Hadoop集群安装部署准备
摘要：2 Hadoop集群安装部署准备 集群安装前需要考虑的几点硬件选型--CPU、内存、磁盘、网卡等--什么配置？需要多少？ 网络规划--1 GB？ 10 GB？--网络拓扑？ 操作系统选型及基础环境--Linux？Windows？什么版本？--哪些基础环境？Hadoop版本选型--Apache？ CD 阅读全文
posted @ 2019-05-13 16:59 春困秋乏夏打盹 阅读(333) 评论(0) 推荐(0) 编辑
1 预备知识--Hadoop简介
摘要：1 预备知识--Hadoop简介 Hadoop是Apache的一个开源的分布式计算平台，以HDFS分布式文件系统和MapReduce分布式计算框架为核心，为用户提供了一套底层透明的分布式基础设施Hadoop框架中最核心设计就是：HDFS和MapReduce。 HDFS提供了海量数据的存储,MapRe 阅读全文
posted @ 2019-04-25 17:45 春困秋乏夏打盹 阅读(290) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示