Java读写HDFS文件

一、依赖包maven路径

1. <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
2. <dependency>
3.     <groupId>org.apache.hadoop</groupId>
4.     <artifactId>hadoop-client</artifactId>
5.     <version>2.7.3</version>
6.     <scope>runtime</scope>
7. </dependency>

二、针对HDFS文件的操作类HDFSOperate

1. package com.hdfs.util;
2.  
3. import java.io.BufferedReader;
4. import java.io.File;
5. import java.io.FileOutputStream;
6. import java.io.IOException;
7. import java.io.InputStreamReader;
8. import java.io.PrintStream;
9. import java.net.URI;
10.  
11. import org.apache.hadoop.conf.Configuration;
12. import org.apache.hadoop.fs.FSDataInputStream;
13. import org.apache.hadoop.fs.FSDataOutputStream;
14. import org.apache.hadoop.fs.FileSystem;
15. import org.apache.hadoop.fs.Path;
16. import org.apache.hadoop.io.IOUtils;
17.  
18. /**
19.  * 针对HDFS文件的操作类
20.  */
21. public class HDFSOperate {
22.  
23. /**
24.  * 新增（创建）HDFS文件
25.  * @param hdfs
26.  */
27. public void createHDFS(String hdfs){
28. try {
29. Configuration conf = new Configuration();
30. conf.setBoolean("dfs.support.append", true);  
31. conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
32.         conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");
33. FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
34. Path path = new Path(hdfs); 
35. //判断HDFS文件是否存在
36. if(fs.exists(path)){
37. //System.out.println(hdfs + "已经存在！！！");
38. }else{
39. FSDataOutputStream hdfsOutStream = fs.create(new Path(hdfs));
40. hdfsOutStream.close();
41. }
42. fs.close();
43. } catch (Exception e) {
44. // TODO: handle exception
45. e.printStackTrace();
46. }
47. }
49. /**
50.  * 在HDFS文件后面追加内容
51.  * @param hdfs
52.  * @param appendContent
53.  */
54. public void appendHDFS(String hdfs,String appendContent){
55. try {
56. Configuration conf = new Configuration();
57. conf.setBoolean("dfs.support.append", true);  
58. conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
59.         conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");
60. FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
61. Path path = new Path(hdfs);
62. //判断HDFS文件是否存在
63. if(fs.exists(path)){
64. //System.out.println(hdfs + "已经存在！！！");
65. }else{
66. FSDataOutputStream hdfsOutStream = fs.create(new Path(hdfs));
67. hdfsOutStream.close();
68. }
69. FSDataOutputStream hdfsOutStream = fs.append(new Path(hdfs));
70. byte [] str = appendContent.getBytes("UTF-8");//防止中文乱码
71. hdfsOutStream.write(str);
72. hdfsOutStream.close();
73. fs.close();
74. } catch (Exception e) {
75. // TODO: handle exception
76. e.printStackTrace();
77. }
78. }
80. /**
81.  * 修改HDFS文件内容 /  删除就是替换为空
82.  * @param hdfs : hdfs文件路径
83.  * @param sourceContent ：要修改的hdfs文件内容
84.  * @param changeContent ：需要修改成的文件内容
85.  */
86. public void change(String hdfs,String sourceContent,String changeContent){
87. try {
88. Configuration conf = new Configuration();
89. conf.setBoolean("dfs.support.append", true);  
90. conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
91.         conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");
93. FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
94. Path path = new Path(hdfs);
95. //判断HDFS文件是否存在
96. if(fs.exists(path)){
97. //System.out.println(hdfs + "已经存在！！！");
98. FSDataInputStream in = fs.open(path);
99. BufferedReader bf=new BufferedReader(new InputStreamReader(in));//防止中文乱码
100. String totalString = "";
101. String line = null;
102. while ((line = bf.readLine()) != null) {
103. totalString += line;
104. }
105. String changeString = totalString.replace(sourceContent, changeContent);
106. FSDataOutputStream hdfsOutStream = fs.create(new Path(hdfs));
107. byte [] str = changeString.getBytes("UTF-8");
108. hdfsOutStream.write(str);
109. hdfsOutStream.close();
110. }else{
111. //System.out.println(hdfs + "不存在，无需操作！！！");
112. }
113. fs.close();
114. } catch (Exception e) {
115. // TODO: handle exception
116. e.printStackTrace();
117. }
118. }
120. /**
121.  * 判断要追加的内容是否存在
122.  * @param hdfs
123.  * @param appendContent
124.  * @return
125.  */
126. public Boolean isContentExist(String hdfs,String appendContent){
127. try {
128. Configuration conf = new Configuration();
129. conf.setBoolean("dfs.support.append", true);  
130. conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
131.         conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");
133. FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
134. Path path = new Path(hdfs);
135. //判断HDFS文件是否存在
136. if(fs.exists(path)){
137. //System.out.println(hdfs + "已经存在！！！");
138. FSDataInputStream in = fs.open(path);
139. BufferedReader bf=new BufferedReader(new InputStreamReader(in));//防止中文乱码
140. String totalString = "";
141. String line = null;
142. while ((line = bf.readLine()) != null) {
143. totalString += line;
144. }
145. if(totalString.contains(appendContent)){
146. return true;
147. }
148. }else{
149. //System.out.println(hdfs + "不存在，无需操作！！！");
150. }
151. fs.close();
152. } catch (Exception e) {
153. // TODO: handle exception
154. e.printStackTrace();
155. }
156. return false;
157. }
159. public static void main(String[] args) throws IOException {
160. String hdfs = "hdfs://192.168.168.200:9000/test/tes.txt";
161. HDFSOperate hdfsOperate = new HDFSOperate();
162. hdfsOperate.createHDFS(hdfs);
163. hdfsOperate.appendHDFS(hdfs,"测试新增内容");
164. //hdfsOperate.change(hdfs, "测试新增内容", "测试修改成功");
165. }
166. }