Hadoop之HDFS(三)HDFS API操作示例和读写流程
1.HDFS API示例
1.1 Client API
1）准备工作
本人习惯使用Ubuntu，ide工具则是idea，如果是windows系统或者eclipse自行百度吧，我没有试过。
老套路，创建Maven工程，导入依赖
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client-api</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client-runtime</artifactId>
<version>3.1.3</version>
</dependency>
在resources下添加日志配置文件“log4j2.xml”
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
<Appenders>
<Appender type="Console" name="STDOUT">
<Layout type="PatternLayout"
pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
</Appender>
</Appenders>
<Loggers>
<Logger name="test" level="info" additivity="false">
<AppenderRef ref="STDOUT" />
</Logger>
<Root level="info">
<AppenderRef ref="STDOUT" />
</Root>
</Loggers>
</Configuration>
2）在src/main/java下创建包cn.leaf。可以随意，之后创建类HdfsClient，客户端的使用大致如下
public void hdClient() throws IOException, InterruptedException {
// 获得一个客户端对象
URI uri = URI.create("hdfs://hadoop10:9820");
Configuration conf = new Configuration();
String user = "v2admin";
FileSystem fs = FileSystem.get(uri,conf,user);
// TODO 执行操作
// 关闭资源
fs.close();
}
1.2 上传文件示例代码
public static void main(String[] args) throws IOException, InterruptedException {
// 获得一个客户端对象
URI uri = URI.create("hdfs://hadoop10:9820");
Configuration conf = new Configuration();
String user = "v2admin";
FileSystem fs = FileSystem.get(uri,conf,user);
// TODO 执行操作
Path upsrc = new Path("/home/zhaow/桌面/Shell/passwd.txt");
Path updst = new Path("/home");
upFile(fs,upsrc,updst);
// 关闭资源
fs.close();
}
/**
* 上传文件
* @param fs Client对象
* @param src 待上传文件
* @param dst hdfs 路径
*/
public static void upFile(FileSystem fs, Path src, Path dst){
try {
fs.copyFromLocalFile(src, dst);
} catch (IOException e) {
e.printStackTrace();
}
}
1.3 下载文件示例代码
/**
* 下载文件
* @param fs 客户端对象
* @param src 待下载的文件路径，也就是HDFS上的文件路径
* @param dst 目标路径
*/
public static void downFile(FileSystem fs, Path src, Path dst){
try {
fs.copyToLocalFile(false,src,dst);
} catch (IOException e) {
e.printStackTrace();
}
}
2 读写流程
2.1写文件流程
通过代码完成了文件上传，那么这中间HDFS是怎样完成文件的写入的呢？
流程如下图所示:
途中包含以下角色
Client、Distributed FileSystem、FSData InputStream、NameNode、DataNode，除了Distributed FileSystem、FSData InputStream两个角色外，其他已经在之前说过。
Distributed FileSystem，翻译过来就是分布式文件系统。
FSDataOutputStream就是一个输出流对象。
1）Client向HDFS写数据的时，文件是分块存储在HDFS的各个DataNode节点上，而存储位置的是NameNode规定的，所以Client 在上传文件时需要先和NameNode进行交互。
Client首先调用Distributed FileSystem的create方法，然后远程调用NameNodeNode的create()。
NameNode的检查是否已存在文件、检查权限。若通过检查，直接先将操作写入Edits文件Client，返回FSDataOutputStream。
2）Client 开始切分文件，请求上传，然后从NameNode获取上传到的DataNode节点信息，假定是d1，d2,d3三个节点。
3）client通过FSDataOutputStream对象调用write()写数据，具体流程如下：
请求dn1上传数据，d1收到请求会继续调用d2，然后d2调用d3，完成传输通道的建立。
4）client向d1上传第一个block（从磁盘读取数据先放到一个本地内存缓存），以Packet为单位，d1收到一个Packet就会传给d2，d2传给d3；d1每传一个packet会放入一个应答队列等待应答。
5）当完成整个文件的写入后，执行FSDataOutputStream的close()方法，同时告知NameNode我完成了文件写入操作。
2.2 读文件流程
同样client通过Distributed FileSystem向NameNode请求下载文件，NameNode查询元数据得到下载文件所在的DataNode节点信息。
存储该文件的节点有很多，会优先选择一个最近的节点，发起请求。
DataNode开始传输数据给客户端。
Client以Packet为单位接收，先在本地缓存，然后写入目标文件。
