摘要: 前提:请参考这里,然后再阅读此内容. 1.HDFS文件上传 下载 删除 改名称 文件详情查看 文件和文件夹的判断 package com.lxz.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f 阅读全文
posted @ 2021-08-19 17:50 明明就- 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 前言 首先需要配置JAVA环境变量,搭建hadoop集群,实现HA,并启动集群环境 一 创建hdfs项目,导入pom文件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <vers 阅读全文
posted @ 2021-08-19 16:28 明明就- 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 前言: 想玩一下HDFS的API,结果导入pom文件时候,jdk.tools依赖加载不出来. 解决办法: 换一种方法,即将解决问题 <dependency> <groupId>com.sun</groupId> <artifactId>tools</artifactId> <version>1.8. 阅读全文
posted @ 2021-08-19 16:01 明明就- 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 前提: 在本地IDEA写完项目代码后,将整个项目打包上传到集群进行测试. 需要注意输入输出路径要写对 将两个文件上传到HDFS集群 # 上传文件 hadoop fs -put /opt/module/hadoop_file/input/friends.txt /opt/module/hadoop_f 阅读全文
posted @ 2021-08-19 12:59 明明就- 阅读(261) 评论(0) 推荐(0) 编辑