摘要: 查找 阅读全文
posted @ 2021-06-07 21:15 程序员008 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 出现地方高亮 暗红色 8B0000 去掉导入*优化 阅读全文
posted @ 2021-06-07 20:57 程序员008 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 普通java项目 第一步:导入依赖的包 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <de 阅读全文
posted @ 2021-06-07 07:26 程序员008 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 第一步:添加依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> 第二步:编写测试类注意:类的 阅读全文
posted @ 2021-06-06 19:15 程序员008 阅读(38) 评论(0) 推荐(0) 编辑
摘要: HDFS客户端环境准备 1.根据拷贝编译后的hadoop jar包到非中文路径 2.配置HADOOP_HOME环境变量 3. 配置Path环境变量 4.创建一个Maven工程HdfsClientDemo 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr 阅读全文
posted @ 2021-06-06 09:01 程序员008 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 1.基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2.命令大全 bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-c 阅读全文
posted @ 2021-06-06 08:16 程序员008 阅读(55) 评论(0) 推荐(0) 编辑
摘要: HDFS产出背景及定义 HDFS优缺点 优点 缺点 HDFS组成架构 HDFS文件块大小(面试重点) 阅读全文
posted @ 2021-06-06 07:54 程序员008 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 编写集群分发脚本xsync 1)scp(secure copy)安全拷贝 (1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fn 阅读全文
posted @ 2021-06-05 18:17 程序员008 阅读(48) 评论(0) 推荐(0) 编辑
摘要: SSH无密登录配置 1)配置ssh (1)基本语法 ssh另一台电脑的ip地址 (2)ssh连接时出现Host key verification failed的解决方法 ssh hadoop103 出现: The authenticity of host 'hadoop103 (192.168.18 阅读全文
posted @ 2021-06-05 15:54 程序员008 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 安装Hadoop Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1)用SecureCRT工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面 切换到sftp连接页面 阅读全文
posted @ 2021-06-05 13:27 程序员008 阅读(105) 评论(0) 推荐(0) 编辑