hadoop 学习（四）之java操作hdfs

1、导入hadoop jar包

将hadoop/share/common/目录、hadoop/share/common/lib/目录、hadoop/hdfs/目录、下的jar包加入eclipse。

2、开始编码调用

static FileSystem  fs=null;
    public static  void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
        init();        
        testUpload();
    }
    
    
    public static void init() throws Exception{
        fs=FileSystem.get(new URI("hdfs://192.168.1.7:9000"), new  Configuration(),"hadoop");
        
    }
    
    /**
     * 将本地文件复制到hdfs文件系统里面
     * @throws Exception
     * @throws IOException
     */

    public static void testUpload() throws Exception, IOException{
        OutputStream remote= fs.create(new Path("/uploadjdk"));
        FileInputStream local=new FileInputStream("c://jdk.rar");
        IOUtils.copyBytes(local, remote,4096,true);
    }
    
    /**
     * 从hdfs文件系统里面下载文件 
     * @throws Exception
     * @throws IOException
     */
    
    public void testDownload() throws Exception, IOException{
        InputStream in= fs.open(new Path("/eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz"));
        OutputStream output=new FileOutputStream("c://jdk2.rar");
        IOUtils.copyBytes(in, output,4096,true);
    }

testUpload 方法是将本地“c://jdk.rar”文件上传到hdfs系统根目录中并命名为uploadjdk.

testDownload 方法是将hdfs系统中的根目录下的“eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz”下载到本址c盘，并命名为“jdk2.rar”
值得注意的是：hdfs://192.168.1.7:9000"地址是第二篇文章“ubuntu hadoop 2.7.0 伪分部安装”中   /usr/local/hadoop/etc/hadoop/core-site.xml 文件中配置的地址。如果配置的为

"hdfs://localhost:9000" 需要将其更改为实际机器IP才可以正常访问。