摘要： HDFS的API操作 3.1 客户端环境准备 1）找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。 2）配置HADOOP_HOME环境变量 3）配置Path环境变量。 注意：如果环境变量不起作用，可以重启电脑试试。 验证Hadoop环境变量是否正常 阅读全文

摘要： HDFS的Shell操作（开发重点） 2.1 基本语法 hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。 2.2 命令大全 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs [-appendToFile <localsr 阅读全文

摘要： 配置历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下： 1）配置mapred-site.xml [atguigu@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <prope 阅读全文

摘要： SSH无密登录配置 1）配置ssh （1）基本语法 ssh另一台电脑的IP地址 （2）ssh连接时出现Host key verification failed的解决方法 [atguigu@hadoop102 ~]$ ssh hadoop103 如果出现如下内容 Are you sure you wa 阅读全文

摘要： 3.2 完全分布式运行模式（开发重点） 分析： 1）准备3台客户机（关闭防火墙、静态IP、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 3.2.1 虚拟机准备 详见2.1、2.2两节。 3.2.2 阅读全文

摘要： 2.5 Hadoop目录结构 1）查看Hadoop目录结构 [atguigu@hadoop102 hadoop-3.1.3]$ ll 总用量 52 drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin drwxr-xr-x. 3 atguigu atgu 阅读全文

摘要： 1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例） （1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况 [root@hadoop100 ~]# ping www.baidu.com PING www.baid 阅读全文

摘要： 在 hadoop102 安装 HadoopHadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1 ） 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 s 阅读全文

摘要： 1）在配置类型选项中，我们选择自定义（高级），选择好之后点击“下一步” （2）虚拟机的硬件兼容性设置页面，参考下图设置好之后点击“下一步”； （3）在安装客户机操作系统界面我们选择最后一个“稍后安装操作系统”（见图3-1），然后点击下一步，在客户机操作系统中选择“Linux”（见图3-2）。 图3- 阅读全文

摘要： Javascript综合使用 <script type="text/javascript"> </script> 在这个标签中间可以写script脚本 function check() {var check = checkuse1() && checkuse2() && checkShenfen() 阅读全文