本地Eclipse连接HDFS进行简单的文件操作
昨天总结了一点自己在搭建Hadoop完全分布式环境过程中遇到的几个小问题以及解决方案，今天在搭建成功的环境中进行了简单的文件操作，包括：文件目录的创建、文件的创建、本地文件的上传、文件的重命名、文件的删除以及其他几个关于文件的操作，希望对初学的练习者有所帮助。
1 package org.apache.hadoop.examples; 2 3 4 import java.io.BufferedOutputStream; 5 import java.io.IOException; 6 import java.net.URI; 7 import java.text.SimpleDateFormat; 8 import java.util.Date; 9 10 import org.apache.hadoop.conf.Configuration; 11 import org.apache.hadoop.fs.BlockLocation; 12 import org.apache.hadoop.fs.FSDataOutputStream; 13 import org.apache.hadoop.fs.FileStatus; 14 import org.apache.hadoop.fs.FileSystem; 15 import org.apache.hadoop.fs.Path; 16 import org.apache.hadoop.hdfs.DistributedFileSystem; 17 import org.apache.hadoop.hdfs.protocol.DatanodeInfo; 18 import org.junit.Before; 19 import org.junit.Test; 20 21 public class FileDemo { 22 private Configuration conf = new Configuration();//这里创建conf对象有一个默认参数，boolean loadDefaults，默认为true
23 private String rootPath=new String("hdfs://192.168.56.10:9000/"); 24 private FileSystem coreSys=null; 25 /** 26 * 每次执行之前初始化操作，初始化FileSystem核心对象 27 */ 28 @Before 29 public void iniFileSystemObject(){ 30 try { 31 coreSys=FileSystem.get(URI.create(rootPath), conf); 32 } catch (IOException e) { 33 System.out.println("初始化HDFS核心文件对象失败："+e.getLocalizedMessage()); 34 } 35 } 36 /** 37 * 在HDFS上创建文件目录 38 */ 39 @Test 40 public void createDirOnHDFS(){ 41 Path demoDir=new Path(rootPath+"demoDir"); 42 boolean isSuccess=true; 43 try { 44 isSuccess=coreSys.mkdirs(demoDir); 45 } catch (IOException e) { 46 isSuccess=false; 47 } 48 System.out.println(isSuccess?"目录创建成功！":"目录创建失败!"); 49 50 } 51 /** 52 * 在HDFS上创建文件 53 * @throws Exception 54 */ 55 @Test 56 public void createFile() throws Exception{ 57 Path hdfsPath = new Path(rootPath + "user/hdfsupload/createDemoFile"); 58 System.out.println(coreSys.getHomeDirectory()); 59 String content = "Hello hadoop,this is first time that I create file on hdfs"; 60 FSDataOutputStream fsout = coreSys.create(hdfsPath); 61 BufferedOutputStream bout = new BufferedOutputStream(fsout); 62 bout.write(content.getBytes(), 0, content.getBytes().length); 63 bout.close(); 64 fsout.close(); 65 System.out.println("文件创建完毕！"); 66 } 67 /** 68 * 从本地上传任意文件到服务器HDFS环境 69 * @throws Exception 70 */ 71 @Test 72 public void uploadFile() throws Exception{ 73 Configuration conf = new Configuration(); 74 Path remotePath=new Path(rootPath+"user/"); 75 coreSys.copyFromLocalFile(new Path("D:\\VirtualBox\\Users"), remotePath); 76 System.out.println("Upload to:"+conf.get("fs.default.name")); 77 FileStatus [] files=coreSys.listStatus(remotePath); 78 for(FileStatus file:files){ 79 System.out.println(file.getPath().toString()); 80 } 81 } 82 /** 83 * 重命名文件名 84 */ 85 @Test 86 public void renameFile(){ 87 Path oldFileName=new Path(rootPath+"user/hdfsupload/createDemoFile"); 88 Path newFileName=new Path(rootPath+"user/hdfsupload/renameDemoFile"); 89 boolean isSuccess=true; 90 try { 91 isSuccess=coreSys.rename(oldFileName, newFileName); 92 } catch (IOException e) { 93 isSuccess=false; 94 } 95 System.out.println(isSuccess?"重命名成功！":"重命名失败！"); 96 } 97 /** 98 * 删除文件 99 */ 100 @Test 101 public void deleteFile(){ 102 Path deleteFile=new Path(rootPath+"user/hdfsupload/job.jar"); 103 boolean isSuccess=true; 104 try { 105 isSuccess=coreSys.delete(deleteFile, false); 106 } catch (IOException e) { 107 isSuccess=false; 108 } 109 System.out.println(isSuccess?"删除成功!":"删除失败！"); 110 } 111 /** 112 * 查找某个文件是否存在 113 */ 114 @Test 115 public void findFileIsExit(){ 116 Path checkFile=new Path(rootPath+"user/hdfsupload/job.jar"); 117 boolean isExit=true; 118 try { 119 isExit=coreSys.exists(checkFile); 120 } catch (IOException e) { 121 isExit=false; 122 } 123 System.out.println(isExit?"文件存在!":"文件不存在！"); 124 } 125 /** 126 * 查看某个文件的最后修改时间 127 * @throws IOException 128 */ 129 @Test 130 public void watchFileLastModifyTime() throws IOException{ 131 Path targetFile=new Path(rootPath+"user/hdfsupload/renameDemoFile"); 132 FileStatus fileStatus=coreSys.getFileStatus(targetFile); 133 Long lastTime=fileStatus.getModificationTime(); 134 Date date=new Date(lastTime); 135 SimpleDateFormat format=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 136 System.err.println("文件的最后修改时间为:"+format.format(date)); 137 } 138 /** 139 * 获取某个路径下面的所有文件 140 * @throws IOException 141 */ 142 @Test 143 public void getUnderDirAllFile() throws IOException{ 144 Path targetDir=new Path(rootPath+"user/hdfsupload/"); 145 FileStatus []fileStatus=coreSys.listStatus(targetDir); 146 for(FileStatus file:fileStatus){ 147 System.out.println(file.getPath()+"--"+file.getGroup()+"--"+file.getBlockSize()+"--"+file.getLen()+"--"+file.getModificationTime()+"--"+file.getOwner()); 148 } 149 } 150 /** 151 * 查看某个文件在HDFS集群的位置 152 * @throws IOException 153 */ 154 @Test 155 public void findLocationOnHadoop() throws IOException{ 156 Path targetFile=new Path(rootPath+"user/hdfsupload/AA.txt"); 157 FileStatus fileStaus=coreSys.getFileStatus(targetFile); 158 BlockLocation []bloLocations=coreSys.getFileBlockLocations(fileStaus, 0, fileStaus.getLen()); 159 for(int i=0;i<bloLocations.length;i++){ 160 System.out.println("block_"+i+"_location:"+bloLocations[i].getHosts()[0]); 161 } 162 163 } 164 /** 165 * 获取集群上结点的信息 166 * @throws IOException 167 */ 168 @Test 169 public void getNodeMsgHdfs() throws IOException{ 170 DistributedFileSystem distributedFileSystem=(DistributedFileSystem) coreSys; 171 DatanodeInfo []dataInfos=distributedFileSystem.getDataNodeStats(); 172 for(int j=0;j<dataInfos.length;j++){ 173 System.out.println("DataNode_"+j+"_Name:"+dataInfos[j].getHostName()+"--->"+dataInfos[j].getDatanodeReport()+"-->"+ 174 dataInfos[j].getDfsUsedPercent()+"-->"+dataInfos[j].getLevel()); 175 } 176 } 177 178 }
