Hadoop框架下的HDFS编程：【遍历目录下所有文件】在指定目录下查找包含某一内容的文件，并输出符合条件的文件名
HDFS编程练习，首先要查找某一目录下是否包含某一内容，那么就要做遍历该目录下所有文件的操作。
使用Path实例得到目的目录的路径下所有文件的路径，调用listStatus函数得到路径，返回的是一个FileStatus类的数组
然后遍历该数组中所有文件的路径，通过getPath方法得到
通过FileSystem类对象调用open方法打开数据流
要从Hadoop文件系统读取文件，最简单的方法是使用java.net.URL 对象打开数据流，从中读取数据。
让Java程序能够能够识别Hadoop的hdfs URL 方案还需要一些额外的工作。这里采用的方法是通过FsUrlStreamHandlerFactory实例调用java.net.URL对象的setURLStreamHandlerFactory()方法。每个Java虚拟机只能调用一次这个方法，因此通常在静态方法中调用。这个限制意味着如果程序的其他组件（如不受你控制的第三方控件）已经声明一个URLStreamHandlerFactory实例，你将无法使用这个方法从Hadoop中读取数据。
得到数据流后转换为字符缓冲流BufferedReader
接着调用字符缓冲流中的readline对象读取每个文件的内容，并通过分隔符分割每个单词，一一对比遍历单词和查找子串的内容，出现过则输出该文件名
该实例的参数有两个，一是目的目录的路径，二是搜索的字符串，字符串不带空格。
调用结果如下：
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.BufferedReader;
import java.io.IOException;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.conf.*;
import java.net.*;
public class test1 {
static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void getfileStr(String filePath,String check) {
final String INNER_DELIMITER = " ";
// 遍历目录下的所有文件
BufferedReader br = null;
try {
FileSystem fs = FileSystem.get(new Configuration());
FileStatus[] status = fs.listStatus(new Path(filePath));//获取文件目录
System.out.println("find result:");
int cnt=0;
for (FileStatus file : status)//遍历文件目录，file为指针
{
FSDataInputStream inputStream = fs.open(file.getPath());//输入流 获取某个文件到路径
br = new BufferedReader(new InputStreamReader(inputStream));//建立 字符缓冲输入流 实例
String line = null;
boolean flag=false;
while (null != (line = br.readLine()))
{
String[] strs = line.split(INNER_DELIMITER);//设置读取分割符
for(int i=0;i<strs.length;i++)
{
// System.out.println(strs[i]+"-------------");
if(strs[i].equals(check))
{
flag=true;
break;
}
}
if(flag)
{
cnt++;
System.out.println(cnt+"."+file.getPath().getName());
break;
}
}// end of while
}
if(cnt==0)System.out.println("No such file!");
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
br.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
public static void main(String[] args) throws IOException{
// TODO Auto-generated method stub
// String uri="hdfs://master:9000/input";
String uri=args[0];//接收路径参数
String checkstr=args[1];//接收查找字符串参数
Configuration conf=new Configuration();
getfileStr(uri,checkstr);
}
}
IOUtils.copyBytes（）方法:
IOUtils.copyBytes(in, out, 4096, false)
–in:是FSDataInputStream类的对象，是有关读取文件的类，也就是所谓“输入流”
–out:是FSDataOutputStream类的对象，是有关文件写入的类，也就是“输出流”
–4096表示用来拷贝的buffer大小（buffer是缓冲区）–缓冲区大小
–// true - 是否关闭数据流，如果是false，就在finally里关掉
我们可以调用Hadoop中简洁的IOUtils类，并在finally 子句中关闭数据流，同时也可以在输入流和输出流之间复制数据（本例中为System.out）。copyBytes方法的最后两个参数，第一个设置用于复制的缓冲区大小，第二个设置复制结束后是否关闭数据流。这里我们选择自行关闭输入流，因而System.out不必关闭输入流。
