hadoop 安装前须知
hadoop在安装前,咱们需要知道一下几点。
1.hadoop运行模式
- 单机(本地)模式:这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。适用于开发过程中运行MapReduce程序,(非常少用的一种模式)。
- 伪分布式模式:在这个模式中,所有守护进程都在同一台机器上运行,在一个接点上模拟i了一个具有hadoop完整功能的微型集群,适用于开发和测试环境
- 全分布式模式:全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。一个正真意义上的集群。
2. hadoop 运行环境
- Windows:hadoop本身来说,是不支持Windows的,但是,可以通过Cygwin这个软件模拟unix的运行环境来安装hadoop。这种方式非常消耗资源并且非常不稳定,所以,不管是开发环境还是生产环境,都不推荐用Windows作为hadoop的运行环境。
- linux:hadoop最佳运行环境,非linux莫属,常见的linux系统有centos,ubuntu,Redhat等。而多数情况下,更推荐大家使用centos来搭建hadoop进行学习。
3.hadoop的安装步骤
- 安装运行环境
- 修改主机名和用户名
- 配置静态IP 地址
- 配置SSH 无密码连接
- 安装JDK
- 配置hadoop
- 格式化HDFS
- 启动hadoop并且验证安装
安装单节点的具体过程,可以参考尼玛哥的单节点伪分布集群搭建
本文参考书籍------Hadoop海量数据处理 技术详解与项目实战
参考博客------好记性不如烂笔头!