hdfs连接、上传文件、下载文件的操作
package com.sxuek; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; // 是net包下的URI import java.net.URISyntaxException; /* 操作HDFS */ public class Demo { public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException { // 1.创建一个HDFS的连接配置对象 -- 指定本地里连接的参数 // 参数是hdfs-site.xml中配置的参数 Configuration conf = new Configuration(); // 设置配置项 -- hdfs的地址 // conf.set("fs.defaultFS", "hdfs://192.168.200.225:9000"); // 在该目录下C:\Windows\System32\drivers\etc,添加ip--名 即可写下面的了 // conf.set("fs.defaultFS", "hdfs://node1:9000"); // 设置块的大小 // 在代码中的配置的参数优先级高于我们Hadoop软件安装的时候配置的参数 // conf.set("dfs.blocksize", "104857600"); // 连接文件系统 // uri:hdfs地址 conf:配置 FileSystem fileSystem = FileSystem.get(new URI("hdfs://node1:9000"), conf, "root"); // 上传文件 并且不能删除本地文件 // fileSystem.copyFromLocalFile(false, new Path("G:\\shixun\\hadoop-2.8.5.tar.gz"), new Path("/")); // System.out.println("上传完成!"); // 下载文件 从hdfs上下载文件 fileSystem.copyToLocalFile(false, new Path("/hadoop-2.8.5.tar.gz"), new Path("G://")); System.out.println("下载完成!"); System.out.println(fileSystem); } }
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16500562.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?