[hadoop读书笔记] 第三章 HDFS
P49
当数据集的大小超过一台计算机存储能力时，就有必要对数据集分区（partition）并将分区存储到若干台独立的计算机上。
管理网络中跨多台计算机存储的系统就叫分布式文件系统 Distributed FileSystem
而基于Hadoop构建的DFS就称之为HDFS。
P49-50
HDFS的设计思路：以流数据访问模式来存储超大文件，运行在商用硬件集群上。
P51
HDFS 数据块：默认为64MB，是HDFS进行数据读写的最小单位，作为独立的存储单元存在。
一个打文件可以切分为多个块存储在不同节点的磁盘上，数据的备份是以块的方式来备份的。
P52
显示块信息命令：fsck
列出文件系统中各个文件由哪些块构成：hadoop fsck / -files -blocks
P56
fs.default.name - core-site.xml
用于设置Hadoop的默认文件系统，由URI指定，通常为：hdfs://ip:port/
表示将HDFS作为Hadoop的默认文件系统。HDFS的守护进程将会通过该属性来确定namenode的主机和端口。
如果不配置端口号 hdfs://ip/ 则默认端口为8020 ，namenode将会运行在8020端口上。
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.200.123:9000</value>
</property>
dfs.replication - hdfs-site.xml
用于设置数据块的副本数量，默认为3。如果是伪分布式配置时，则配置为1。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/wdcloud/data/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/wdcloud/data/hadoop/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
文件系统基本操作
查看帮助：hadoop fs -help
举例：
（1）将文件从本地文件系统复制到HDFS：
hadoop fs -copyFromLocal 本地文件路径/a.txt hdfs://ip:port/user/xxx/a.txt
当core-site.xml中配置了URI时，可以省略 hdfs://ip:port，直接运行
hadoop fs -copyFromLocal 本地文件路径/a.txt /user/xxx/a.txt
使用相对路径将文件复制到HDFS的home目录（/user/xxx/）：
hadoop fs -copyFromLocal 本地文件路径/a.txt a.txt
（2）将文件从HDFS复制到本地文件系统
hadoop fs -copyToLocal xxx.txt(HDFS 的 home 下) xxx.copy.txt（本地文件系统）
（3）创建文件夹
hadoop fs -mkdir books
（4）列出目录文件
hadoop fs -ls .
drwxr-xr- - tom supergroup 0 2009-04-02 22:41 /user/tom/books
drwxr-xr- 1 tom supergroup 118 2009-04-02 22:29 /user/tom/xxx.txt
第一列文件模式
第二列数据块备份数目，目录作为元数据存储在namenode而非datanode中
3、4显示文件所属用户和组
5显示文件大小，字节为单位，目录为0
6、7列是文件的最后修改日期和时间
第8列是文件或目录的绝对路径
P58 Hadoop文件系统
Hadoop的文件系统的概念是抽象的 HDFS只是其中的一种实现。Java抽象类org.apache.hadoop.FileSystem定义了hadoop文件系统接口，有如下的具体实现：
使用URI可用于Hadoop与文件系统进行实时交互，如：
列出本地文件系统根目录下的文件：hadoop fs -ls file:///
列出HDFS文件系统根目录下的文件
或
P61
namenode内置web服务器：默认运行在50070端口上，提供目录服务
datanode内置web服务器：默认运行在50075端口上，以数据流方式传输
配置：
dfs.webhdfs.enable - true
访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口，访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。
端口配置
Hadoop 管理介面 - mapred-site.xml <property> <name>mapred.job.tracker.http.address</name> <value>0.0.0.0:50030</value> </property> Hadoop Task Tracker 状态 - mapred-site.xml <property> <name>mapred.task.tracker.http.address</name> <value>0.0.0.0:50060</value> </property> Hadoop DFS 状态 - hdfs-site.xml <property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value> </property>
curl操作webhdfs
创建并写一个文件 curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH>?op=CREATE [&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>] [&permission=<OCTAL>][&buffersize=<INT>]“ curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>? op=CREATE...“ 注意这个地方填入的是DataNode的信息 在一个文件内追加内容 curl -i -X POST "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=APPEND[&buffersize=<INT>]” curl -i -X POST -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>? op=APPEND...“ 注意该条命令获得的是DataNode的信息。 打开并读取一个文件 curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN [&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]“ 创建一个目录 curl -i -X PUT "http://<HOST>:<PORT>/<PATH>?op=MKDIRS[&permission=<OCTAL>]“ 重名命文件、文件夹 curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>" 删除文件/文件夹 curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE [&recursive=<true|false>]“ 文件/ 文件夹的状态信息 curl -i “http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS“ 目录列表 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS” 获取目录的上下文环境汇总信息 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY" 获取Check Sum File curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM” 获取Home 目录 curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY” 设置权限 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]“ 设置所有者 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]" 设置备份 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]“
P63
使用Java接口与Hadoop文件系统进行交互
FileSystem：与Hadoop中某文件系统进行交互的API
DistributedFileSystem：与HDFS文件系统进行交互的API
P64 通过FileSystem API 读取数据
1、检索文件系统
public static FileSystem get(Configuration conf)
返回core-site.xml中配置的默认文件系统，若没有配置，使用本地文件系统
public static FileSystem get(URI uri,Configuration conf)
返回给定的URI指定的文件系统，若URI为空，返回默认文件系统
public static FileSystem get(URI uri,Configuration conf,String user)
作为给定用户访问文件系统
Configuration：封装了客户端或服务器的配置
如果确定获取本地文件系统，直接使用
public static LocalFileSystem getLocal(Configuration conf)
2、获取文件输入流
public FSDataInputStream open(Path f) - 默认缓冲区大小4KB
public abstract FSDataInputStream open(Path f,int bufferSize)
FSDataInputStream - 这个类继承了java.io.DataInputStream接口，支持随机访问，可以从流的任意位置读取数据
实例：
P68 通过FileSystem API 写入数据
public FSDataOutputStream create(Path f)
public FSDataOutputStream append(Path f)
例子：将本地文件复制到hadoop文件系统
P72 查询文件系统
P83
Apache Flume:将大规模流数据导入HDFS的工具
典型应用：日志数据分析
Flume支持包含tail，通过管道的方式将本地文件写入Flume中，以及syslog和apcache log4j的系统
Apache sqoop：为了将数据从结构化存储设备（RDBMS）批量导入HDFS中设计的
用于将白天生产的数据库中的数据导入Hive仓库中进行分析
distcp：Hadoop分布式复制程序，用于在hadoop文件系统之间复制大量数据，作为MR作业来实现的。
复制数据命令行：hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
在namenode的bar/foo文件下存储复制的数据
更新数据：hadoop distcp -update hadfs://namenode1/foo hdfs://namenode2/bar/foo
注意，使用以上命令两个集群的HDFS版本必须相同，如果不同，则使用基于HTTp协议的HFTP文件系统读取源文件系统数据。
且这个作业必须运行在目标集群上，实现HDFS RPC版本的兼容
命令行：hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar
或直接使用webhdfs协议也可以：
hadoop distcp webhdfs://namenode1:50070/foo webhdfs://namenode2:50070/bar
P86 Hadoop 存档工具
为什么需要？
Hadopp文件按块存储，每个块的元数据存储在namenode的内存中，如果小文件过多，则大量的小文件会耗尽namenode的大量内存。
Hadoop存档文件/HAR文件是一个高效的文件存档工具，在减少namenode内存的同时，允许对文件进行透明的访问。
对一系列文件进行存档命令：hadoop archive -archiveName files.har /my/files(被打包目录) /my(存档文件输出目录)
删除har文件，要用递归的形式进行删除,因为基于文件系统来说，HAR文件是一个目录
hadoop fs -rmr /my/files.har
