hadoop 读取文件操作

  1. Path hdfsPath = new Path(args[0]);  
  2. Configuration conf = new Configuration();  
  3. FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf);   
  4. CompressionCodecFactory factory = new CompressionCodecFactory(conf);  
  5. CompressionCodec codec = factory.getCodec(hdfsPath);  
  6.   
  7. FSDataInputStream inputStream = fs.open(hdfsPath);  
  8. BufferedReader reader = null;  
  9.   
  10. try {  
  11.     if (codec == null) {  
  12.         reader = new BufferedReader(new InputStreamReader(inputStream));  
  13.     } else {  
  14.         CompressionInputStream comInputStream = codec.createInputStream(inputStream);  
  15.         reader = new BufferedReader(new InputStreamReader(comInputStream));  
  16.     }  
  17. catch (Exception e) {  
  18.     e.printStackTrace();  
  19. }  
posted @ 2014-07-22 11:04  曹守鑫  阅读(400)  评论(0编辑  收藏  举报