[b0011] windows 下 eclipse 开发 hdfs程序样例 (三)

目的：

学习windows 开发hadoop程序的配置。

 

[b0007] windows 下 eclipse 开发 hdfs程序样例 

太麻烦

[b0010] windows 下 eclipse 开发 hdfs程序样例 (二)

输出日志变化，而且配置似乎很麻烦。

 

环境：

windows 7 64下 eclipse

 

说明：

该实践是在[0008] Windows 7 下 hadoop 2.6.4 eclipse 本地开发调试配置 中设置后进行的，

在这里面进行了一些环境变量设置、插件安装。 

如果按照以下步骤进行，还有报错的话，可以参考这篇文章，以及问题[0009] 解决

 

1.新建项目

新建项目、导入hadoop开发包

详细参考

[0007] windows 下 eclipse 开发 hdfs程序样例  1 新建项目

 

2.新建类,编写如下代码  

package hdfs;

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;

import org.apache.commons.compress.utils.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 *  功能：      将 hdfs://ssmaster:9000/data/paper.txt下载到Windows下c:\paper.txt
 *  调用方式：hadoop jar 打包包名.jar  
 */

public class Down_Load {

    public static void main(String[] args) {
        
    Configuration conf =new Configuration();
    conf.set("fs.defaultFS", "hdfs://ssmaster:9000/");
    
    FileSystem fs = null;
    Path src = null;
    FSDataInputStream in = null;
    FileOutputStream out = null;
      
    src = new Path("hdfs://ssmaster:9000/data/paper.txt" );
    
    try {
        
      fs = FileSystem.get(conf) ;
      in = fs.open(src);

       } catch (IOException e) {
        e.printStackTrace(); 
    }
    
    try {
        out = new FileOutputStream ("c:\\paper.txt"); //等效  c:/paper.txt
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }
    
    try {
        IOUtils.copy(in, out);
    } catch (IOException e) {
        e.printStackTrace();
    }

}
}

备注： 在[0007] 第2步的代码上 增加 conf.set("fs.defaultFS", "hdfs://ssmaster:9000/");

 

3 执行

右键->run java application

 

总结：

HDFS下的windows开发环境基本搭建好。