摘要: 1.基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 dfs是fs的实现类。 2.命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile <localsrc> ... <dst 阅读全文
posted @ 2020-07-12 23:23 秋华 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 1 HDFS产出背景及定义 2 HDFS优缺点 3 HDFS组成架构 4 HDFS文件块大小(面试重点) 阅读全文
posted @ 2020-07-12 22:48 秋华 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 1 安装JDK 1) 卸载现有JDK (1)查询是否安装Java软件: [atguigu@hadoop101 opt]$ rpm -qa | grep java (2)如果安装的版本低于1.7,卸载该JDK: [atguigu@hadoop101 opt]$ sudo rpm -e 软件包 (3)查 阅读全文
posted @ 2020-07-12 22:27 秋华 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 0 概述 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装JDK 3)配置环境变量 4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 1 虚拟机准备 1). 克隆虚拟机 2). 修改克隆虚拟机的静态IP 3). 修改主机名 4). 阅读全文
posted @ 2020-07-12 21:38 秋华 阅读(275) 评论(0) 推荐(0) 编辑
摘要: java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境,但并没有真正的搭建hadoop和spark 解决办法: 阅读全文
posted @ 2020-07-12 10:10 秋华 阅读(692) 评论(0) 推荐(0) 编辑