随笔分类 - Hadoop
本目录所有内容 基于Hadoop-3.1.0+Centos7.0环境
摘要：执行操作： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /user/today/input /user/today/output 报错： 错误: 找不到或无法加载主类 org.apac
阅读全文
摘要：一、配置yarn集群 1.配置yarn-env.sh 添加：export JAVA_HOME=/opt/module/jdk1.8.0_144 2.配置yarn-site.xml 1 <!-- reducer获取数据的方式--> 2 <property> 3 <name>yarn.nodemanag
阅读全文
摘要：HADOOP-3.1.0 HDFS基础配置 执行步骤：（1）配置集群（2）启动、测试集群增、删、查（3）执行wordcount案例 一、配置集群 1.在 hadoop-env.sh配置文件添加 jdk绝对路径 export JAVA_HOME=/opt/module/jdk1.8.0_181 配置文
阅读全文
摘要：HDFS的WEB UI管理页面 50070 端口 无法访问解决办法！ 本文基于HADOOP-3..1.0，Cecntos7.0环境下进行测试，所以遇到很多新鲜的问题； 特别注意：HaDoop3.0之前web访问端口是50070 hadoop3.0之后web访问端口为9870 学习建议：倘若按照多数人
阅读全文
摘要：ssh免密码登录Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 的解决方案 1.在hadoop目录 新建.ssh目录 使用：ssh-keygen -t rsa 生成公私钥 默认生成在、/home/user/.ssh文件中 直接复制
阅读全文
摘要：常用指令 ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all) mkdir 创建目录 -p 创建目录，若无父目录，则创建p(parent) cd 切换目录 touch 创建空文件 echo 创建带有内容的文件。 cat 查看文件内容
阅读全文
