9-15每日博客

今天对学过的hadoop知识进行使用,主要是在java连接hadoop,在IDEA创建maven项目,导入相关依赖:

 

 然后编写一些方法实现连接Hadoop:

private  static FileSystem fs;
private static void init() throws URISyntaxException, IOException, InterruptedException{
Configuration configuration = new Configuration();
configuration.set("dfs.replication","1");
// FileSystem fs = FileSystem.get(new
URI uri=new URI("hdfs://hadoop102:8020");
String user="wang";
fs = FileSystem.get(uri, configuration,user);
}
private static void close() throws IOException {
// 3 关闭资源
fs.close();
}
比如说新建一个文件夹,就可以使用以下的方法:
public void mkdir() throws IOException, URISyntaxException, InterruptedException {
init();
fs.mkdirs(new Path("/deleted/"));
close();
}
这时候在网页打开hadoop即可看到在目录下新建了一个对应名称的文件夹,就代表可以从客户端连接到hadoop

posted @   软工新人  阅读(47)  评论(0编辑  收藏  举报
编辑推荐:
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具
点击右上角即可分享
微信分享提示