将HDFS上的文件拷贝到本地的实现
这里需要进行一点额外的工作才能使得URL识别hdfs的uri。我们要使用java.net.URL的 setURLStreamHandlerFactory()方法设置URLStreamHandlerFactory,这里需要传递一个 FsUrlStreamHandlerFactory。这个操作对一个jvm只能使用一次,我们可以在静态块中调用。
publicclass FIleSystemCat {
/**
* @param args
* @throws IOException
*/static {
//这句是为了让程序识别hdfs协议而进行的设置
//setURLStreamHandlerFactory:设置url流处理器工厂
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
publicstaticvoid main(String[] args) throws IOException {
// TODO Auto-generated method stub
String path1="hdfs://localhost:9000/user/hadoop/photo/DSC01283.JPG";
String path2="/home/hadoop/qiu.jpg";
InputStream in=null;
OutputStream out=null;
in=new URL(path1).openStream();
out=new FileOutputStream(path2);
IOUtils.copyBytes(in, out, 4096, false);
}
}
在某些情况下设置URLStreamHandlerFactory的方式并不一定回生效。在这种情况下,需要用FileSystem API来打开一个文件的输入流。
文件的位置是使用Hadoop Path呈现在Hadoop中的,与java.io中的不一样。
有两种方式获取FileSystem的实例:
public static FileSystem get(Configuration conf) throws IOException
public static FileSystem get(URI uri, Configuration conf) throws IOException
Configuration封装了client或者server的配置,这些配置从classpath中读取,比如被classpath指向的conf/core-site.xml文件.
第一个方法从默认位置(conf/core-site.xml)读取配置,第二个方法根据传入的uri查找适合的配置文件,若找不到则返回使用第一个方法,即从默认位置读取。
在获得FileSystem实例之后,我们可以调用open()方法来打开输入流:
public FSDataInputStream open(Path f) throws IOException
public abstract FSDataInputStream open(Path f, int bufferSize) throws IOException
第一个方法的参数f是文件位置,第二个方法的bufferSize就是输入流的缓冲大小。
下面的代码是使用FileSystem打开输入流的示例:
public class FileSystemDoubleCat { public static void main(String[] args) throws Exception { String uri = args[0]; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(uri), conf); FSDataInputStream in = null; try { in = fs.open(new Path(uri)); IOUtils.copyBytes(in, System.out, 4096, false); in.seek(0); // go back to the start of the file IOUtils.copyBytes(in, System.out, 4096, false); } finally { IOUtils.closeStream(in); } } }