初识hadoop之分布式文件系统（HDFS）
Hadoop常用发行版：
Apache Hadoop
CDH Cloudera Distributed Hadoop
HDP Hortonworks Data Platfrom
分布式文件系统（HDFS）
HDFS架构
1个master（NameNode/NN）带n个slaves（DataNode/DN）
HDFS/YARN/HBase都是类似结构
一个文件会被拆分成多个Block
blocksize：128M
130M ==> 2个Block：128M和2M
NN：
1)负责客户端请求的响应
2)负责元数据（文件的名称、副本系数、Block存放的DN）的管理
DN：
1)存储用户的文件对应的数据块（Block）
2)要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况
A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software.
NameNode + N个DataNode
建议：NN和DN部署在不同的节点上
replication factor：副本系数、副本因子
HDFS环境搭建
使用版本：hadoop-2.6.0-cdh5.7.0
Hadoop伪分布式安装步骤
1) jdk安装
解压：tar –zxvf jdk-7u79-linux-x64.tar.gz –C ~/app
添加到系统环境变量：~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
eport PATH=$JAVA_HOME/bin:$PATH
使得环境变量生效：source ~/.bash_profile
验证java是否配置成功：java –version
2) 安装ssh
sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorizes_keys
3) 下载并解压hadoop
下载：直接在cdh网站下载
解压：tar –zxvf Hadoop-2.6.0-cdh5.7.0.tar.gz –C ~/app
4) hadoop配置文件的修改（hadoop_home/etc/hadoop）
hadoop-evn.sh
export JAVA_HOME=/home/Hadoop/app/jdk1.7.0_79
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
slaves（配置DN的个数）添加主机名称
5) 启动hfds
格式化文件系统（仅第一次执行即可，不要重复执行，在bin目录下执行，即在客户端执行）：
hdfs namenode –format
启动hdfs：sbin/start-dfs.sh
验证是否启动成功：
jps
DataNode
SecondaryNameNode
NameNode
浏览器访问方式：http://hadoop000:50070
6) 停止hdfs
sbin/stop-dfs.sh
将hadoop的bin目录配置到环境变量当中
vi ~/.bash_profile
export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH
环境变量生效：
source ~/.bash_profile
查看环境变量：
echo $HADOOP_HOME
hdfs常用操作命令：
hdfs dfs(hadoop fs) +
-ls + / 查看根目录下的文件和文件夹
-mkdir + /test 在根目录下创建test文件夹
-put 文件名 + / 将文件上传到根目录当中（拷贝文件）
-copyFromLocal hello.txt + /test/a/b/h.txt 将文件拷贝到指定路径中
-text(-cat) + /文件名 查看文件的内容
-mkdir –p + /test/a/b 递归创建文件夹
-lsr + / 递归展示文件夹（-ls –R + /）
-get + /test/a/b/h.txt 将文件拷贝到本地
-rm + /hello.txt 删除文件
-rm + -R /test 删除文件夹
