Hadoop的JavaAPI

1.配置winutil的环境变量

然后在Path变量中加入

 

 

 

2.测试

创建一个普通的Java工程测试

复制代码
FileSystem fs = null;
    
    @Before
    public void init() throws Exception{
        fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration(), "root");
    }
    
    @Test
    public void testUpload() throws Exception{
        InputStream in = new FileInputStream("/root/install.log");
        OutputStream out = fs.create(new Path("/log123.log"));
        IOUtils.copyBytes(in, out, 1024, true);
    }
    
    @Test
    public void testMkdir() throws IllegalArgumentException, IOException{
        boolean  flag = fs.mkdirs(new Path("/a/aa"));
        System.out.println(flag);
    }
    
    @Test
    public void testDel() throws IllegalArgumentException, IOException{
        boolean flag = fs.delete(new Path("/a"), true);
        System.out.println(flag);
    }
    
    
    
    public static void main(String[] args) throws Exception {
        FileSystem fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration());
        InputStream in = fs.open(new Path("/jdk"));
        OutputStream out = new FileOutputStream("/home/jdk1.7.tar.gz");
        IOUtils.copyBytes(in, out, 4096, true);
        
    }
复制代码

3.处理Java连不上hdfs

①删除tmp(路径是个人安装在linux系统中hadoop下的tmp文件)

 

②修改配置修改namenode的地址为具体IP(之前写的localhost)
修改slaves文件,为具体IP
 
③格式化hdfshadoopnamenode–format
 
 

 

posted @   小酒馆里的清茶  阅读(156)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 提示词工程——AI应用必不可少的技术
· 地球OL攻略 —— 某应届生求职总结
· 字符编码:从基础到乱码解决
· SpringCloud带你走进微服务的世界
点击右上角即可分享
微信分享提示