4.eclipse配置hdfs架包并测试

1.找一个linux系统下可用的eclipse软件,copy或者解压。

2.打开eclipse创建一个新的java project并导入hdfslib。

  主要包括:

  eclipse导入路径

  ADD LIBRARY >>USER LIBRARY >> NEW ONE NAME >>ADD EXR LIBRARY

  A:HDFS主架包和依赖包

    主路径:/usr/software/hadoop-2.4.1/share/hadoop/hdfs/hadoop-hdfs-2.4.1.jar

    依赖路径:/usr/software/hadoop-2.4.1/share/hadoop/hdfs/lib下的所有

  B:COMMON主架包和依赖包

    主路径:/usr/software/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar

    依赖路径:/usr/software/hadoop-2.4.1/share/hadoop/common/lib下的所有

3.测试hdfs文件系统是否可用

  eclipse中的代码:

  

       //配置hdfs
         Configuration conf =new Configuration();
         conf.set("fs.defaultFS","hdfs://linux-hadoop:9000");
         conf.set("dfs.blocksize","64");
        
         //获取hdfs文件系统
         FileSystem fs = FileSystem.get(conf);
         //第一个是hdfs文件系统的文件路径,第二次是本地的路径
         fs.copyToLocalFile(new Path("hdfs://linux-hadoop:9000/hadoop-2.4.1-x64.tar.gz"), new Path("/root/test.tgz"));
      fs.copyFromLocalFile(new Path("/root/test.tgz"), new Path("hdfs://linux-hadoop:9000/")); fs.close();
   //还可以直接用URI属性拿到hdfs文件系统,如下,这样更简单
     FileSystem fs = FileSystem.get(new URI("hdfs://linux-hadoop:9000"),conf);
     fs.copyToLocalFile(new Path("/hadoop-2.4.1-x64.tar.gz"), new Path("/root/test.tgz"));
    

 运行代码,测试/root路径下是否有test.tgz,如果有证明可以使用,正常步骤来的话是可用的。

posted @ 2016-07-20 15:36  博智星  Views(255)  Comments(0)    收藏  举报