4.eclipse配置hdfs架包并测试
1.找一个linux系统下可用的eclipse软件,copy或者解压。
2.打开eclipse创建一个新的java project并导入hdfslib。
主要包括:
eclipse导入路径
ADD LIBRARY >>USER LIBRARY >> NEW ONE NAME >>ADD EXR LIBRARY
A:HDFS主架包和依赖包
主路径:/usr/software/hadoop-2.4.1/share/hadoop/hdfs/hadoop-hdfs-2.4.1.jar
依赖路径:/usr/software/hadoop-2.4.1/share/hadoop/hdfs/lib下的所有
B:COMMON主架包和依赖包
主路径:/usr/software/hadoop-2.4.1/share/hadoop/common/hadoop-common-2.4.1.jar
依赖路径:/usr/software/hadoop-2.4.1/share/hadoop/common/lib下的所有
3.测试hdfs文件系统是否可用
eclipse中的代码:
//配置hdfs
Configuration conf =new Configuration();
conf.set("fs.defaultFS","hdfs://linux-hadoop:9000");
conf.set("dfs.blocksize","64");
//获取hdfs文件系统
FileSystem fs = FileSystem.get(conf);
//第一个是hdfs文件系统的文件路径,第二次是本地的路径
fs.copyToLocalFile(new Path("hdfs://linux-hadoop:9000/hadoop-2.4.1-x64.tar.gz"), new Path("/root/test.tgz"));
fs.copyFromLocalFile(new Path("/root/test.tgz"), new Path("hdfs://linux-hadoop:9000/"));
fs.close();
//还可以直接用URI属性拿到hdfs文件系统,如下,这样更简单
FileSystem fs = FileSystem.get(new URI("hdfs://linux-hadoop:9000"),conf);
fs.copyToLocalFile(new Path("/hadoop-2.4.1-x64.tar.gz"), new Path("/root/test.tgz"));
运行代码,测试/root路径下是否有test.tgz,如果有证明可以使用,正常步骤来的话是可用的。

浙公网安备 33010602011771号