hdfs学习(三)
HDFS 的 API 操作
使用url方式访问数据（了解）
@Test
public void urlHdfs() throws IOException {
//1.注册url
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
//2.获取hdfs文件的输入流
InputStream inputStream=new URL("hdfs://hadoop101:8020/a.txt").openStream();
//3.获取本地文件的输出流
OutputStream outputStream= new FileOutputStream(new File("E:\\hello.txt"));
//4.实现文件的拷贝
IOUtils.copy(inputStream,outputStream);
//5.关流
IOUtils.closeQuietly(inputStream);
IOUtils.closeQuietly(outputStream);
}
使用文件系统方式访问数据（掌握）
获取 FileSystem 的几种方式
①
/*
获取FileSystem，方式1
*/
@Test
public void getFileSystem1() throws IOException{
//1.创建Configuration对象
Configuration configuration=new Configuration();
//2.设置文件系统类型
configuration.set("fs.defaultFS","hdfs://hadoop101:8020");
//3.获取指定的文件系统
FileSystem fileSystem= FileSystem.get(configuration);
//4.输出
System.out.println(fileSystem);
}
②用的次数比较多
/*
获取FileSystem，方式2
ctrl+alt+v自动补全返回值
*/
@Test
public void getFileSystem2() throws URISyntaxException, IOException, InterruptedException {
FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop101:8020"), new Configuration(),"root");
System.out.println(fileSystem);
}
③
/*
获取FileSystem，方式3
ctrl+alt+v自动补全返回值
*/
@Test
public void getFileSystem3() throws IOException {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://hadoop101:8020","root");
//3.获取指定的文件系统
FileSystem fileSystem= FileSystem.newInstance(configuration);
//4.输出
System.out.println(fileSystem.toString());
}
④
/*
获取FileSystem，方式4
ctrl+alt+v自动补全返回值
*/
@Test
public void getFileSystem4() throws URISyntaxException, IOException, InterruptedException {
FileSystem fileSystem= FileSystem.newInstance(new URI("hdfs://hadoop101:8020"), new Configuration(),"root");
System.out.println(fileSystem);
}
遍历 HDFS中所有文件
/*
hdfs文件的遍历
*/
@Test
public void listFiles() throws URISyntaxException, IOException, InterruptedException {
//1.获取FileSystem实例
FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop101:8020"), new Configuration(),"root");
//2.调用方法listFiles获取/目录下的所有文件信息
RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(new Path("/"), true);
//3.遍历迭代器
while (iterator.hasNext()){
LocatedFileStatus fileStatus = iterator.next();
//获取文件的绝对路径：hdfs://hadoop101:/xxx
System.out.println(fileStatus.getPath()+"----"+fileStatus.getPath().getName());
//文件的block信息
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println("block数目："+blockLocations.length);
}
}
输出：
HDFS 上创建文件夹
/*
hdfs创建文件夹
*/
@Test
public void mkdirsTest() throws URISyntaxException, IOException, InterruptedException {
//1.获取FileSystem实例
FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop101:8020"), new Configuration(),"root");
//2.获取文件夹
boolean bl=fileSystem.mkdirs(new Path("/aaa/bbb/ccc/a.txt"));
//fileSystem.create(new Path("/aaa/bbb/ccc/a.txt"));
System.out.println(bl);
//3.关闭FileSystem
fileSystem.close();
}
下载文件
/*
文件下载2:使用方法copyToLocalFile下载到本地E盘下的bbb.txt
*/
@Test
public void downloadFile2() throws URISyntaxException, IOException, InterruptedException {
//1.获取FileSystem
FileSystem fileSystem=FileSystem.get(new URI("hdfs://hadoop101:8020"),new Configuration(),"root");
fileSystem.copyToLocalFile(new Path("/a.txt"),new Path("E://bbb.txt"));
fileSystem.close();
}
/*
文件下载
*/
@Test
public void downloadFile() throws URISyntaxException, IOException {
//1.获取FileSystem
FileSystem fileSystem=FileSystem.get(new URI("hdfs://hadoop101:8020"),new Configuration());
//2.获取hdfs的输入流
FSDataInputStream inputStream = fileSystem.open(new Path("/a.txt"));
//3.获取本地路径的输出流
FileOutputStream outputStream = new FileOutputStream("E://a.txt");
//4.文件的拷贝
IOUtils.copy(inputStream,outputStream);
//5.关闭流
IOUtils.closeQuietly(inputStream);
IOUtils.closeQuietly(outputStream);
fileSystem.close();
}
HDFS 文件上传
/*
文件的上传
*/
@Test
public void uploadFile() throws URISyntaxException, IOException, InterruptedException {
FileSystem fileSystem=FileSystem.get(new URI("hdfs://hadoop101:8020"),new Configuration(),"root");
fileSystem.copyFromLocalFile(new Path("E://hello.txt"),new Path("/"));
fileSystem.close();
}
小文件合并
由于 Hadoop 擅长存储大文件，因为大文件的元数据信息比较少，如果 Hadoop 集群当中有大
量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的
内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理
在我们的 HDFS 的 Shell 命令模式下，可以通过命令行将很多的 hdfs 文件合并成一个大文件下
载到本地
cd /export/servers
hdfs dfs -getmerge /*.xml ./hello.xml
既然可以在下载的时候将这些小文件合并成一个大文件一起下载，那么肯定就可以在上传的
时候将小文件合并到一个大文件里面去
/*
小文件的合并
*/
@Test
public void mergeFile() throws URISyntaxException, IOException, InterruptedException {
//1.获取FileSystem
FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop101:8020"), new Configuration(), "root");
//2.获取hdfs大文件的输出流
FSDataOutputStream outputStream = fileSystem.create(new Path("/big_txt.txt"));
//3.获取一个本地文件系统
LocalFileSystem localFileSystem = FileSystem.getLocal(new Configuration());
//4.获取本地文件夹下的所有文件的详情
FileStatus[] fileStatuses = localFileSystem.listStatus(new Path("E:\\input"));
//5.遍历每个文件，获取每个文件的输入流
for (FileStatus fileStatus:fileStatuses){
FSDataInputStream inputStream=localFileSystem.open(fileStatus.getPath());
//6.将小文件的数据复制到大文件
IOUtils.copy(inputStream,outputStream);
IOUtils.closeQuietly(inputStream);
}
IOUtils.closeQuietly(outputStream);
localFileSystem.close();
fileSystem.close();
}
输出：
里面的内容是：在E盘下input文件夹下的5个txt文件的总和
完成本地小文件的合并，上传
HDFS的高可用机制
在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由
NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程
不能工作了，就会影响整个集群的正常使用。
在典型的HA集群中，两台独立的机器被配置为NameNode。在工作集群中，NameNode机器中
的一个处于Active状态，另一个处于Standby状态。Active NameNode负责群集中的所有客户端
操作，而Standby充当从服务器。Standby机器保持足够的状态以提供快速故障切换（如果需
要）。
Hadoop的联邦机制(Federation)
HDFS Federation是解决namenode内存瓶颈问题的水平横向扩展方案。
Federation意味着在集群中将会有多个namenode/namespace。这些namenode之间是联合的，
也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。分布式的
datanode被用作通用的数据块存储存储设备。每个datanode要向集群中所有的namenode注
册，且周期性地向所有namenode发送心跳和块报告，并执行来自所有namenode的命令。
Federation一个典型的例子就是上面提到的NameNode内存过高问题,我们完全可以将上面部分
大的文件目录移到另外一个NameNode上做管理.更重要的一点在于,这些NameNode是共享集
群中所有的DataNode的,它们还是在同一个集群内的**。**
这时候在DataNode上就不仅仅存储一个Block Pool下的数据了,而是多个(在DataNode的datadir
所在目录里面查看BP-xx.xx.xx.xx打头的目录)。
概括起来：
多个NN共用一个集群里的存储资源，每个NN都可以单独对外提供服务。
每个NN都会定义一个存储池，有单独的id，每个DN都为所有存储池提供存储。
DN会按照存储池id向其对应的NN汇报块信息，同时，DN会向所有NN汇报本地存储可用资源
情况。
HDFS Federation不足：
HDFS Federation并没有完全解决单点故障问题。虽然namenode/namespace存在多个，但是从
单个namenode/namespace看，仍然存在单点故障：如果某个namenode挂掉了，其管理的相
应的文件便不可以访问。Federation中每个namenode仍然像之前HDFS上实现一样，配有一个
secondary namenode，以便主namenode挂掉一下，用于还原元数据信息。
所以一般集群规模真的很大的时候，会采用HA+Federation的部署方案。也就是每个联合的
namenodes都是ha的。
