07 2018 档案

Hadoop的jobhistoryserver配置
摘要：配置mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhisto 阅读全文
posted @ 2018-07-16 10:10 mhx_pyw 阅读(300) 评论(0) 推荐(0) 编辑
DFS Used%: NaN%问题
摘要：一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS 阅读全文
posted @ 2018-07-13 16:21 mhx_pyw 阅读(728) 评论(0) 推荐(0) 编辑
查看识别hadoop是32位还是64位
摘要：问题导读：1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？ 来源：about云 本文链接：http://www.aboutyun.com/thread-12796-1-1.html hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。ha 阅读全文
posted @ 2018-07-12 16:39 mhx_pyw 阅读(217) 评论(0) 推荐(0) 编辑
hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项
摘要：在hadoop-3.0.0-alpha4 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemana 阅读全文
posted @ 2018-07-12 16:12 mhx_pyw 阅读(1287) 评论(0) 推荐(0) 编辑
hadoop常用命令
摘要：1.查看datanode日志 [root@slave1 hadoop-3.0.0-alpha4]# cd logs/ [root@slave1 logs]# tail -f hadoop-root-datanode-slave1.log 2.查看节点nodemanager日志 [root@slave 阅读全文
posted @ 2018-07-12 15:45 mhx_pyw 阅读(99) 评论(0) 推荐(0) 编辑
hadoop-3.0.0-alpha4启动
摘要：全部启动或者全部停止(注意：第一次启动需要先格式，以后就不需要格式了，不能多次格式化) 1.启动 [root@master sbin]# pwd /usr/hadoop/hadoop-3.0.0-alpha4/sbin [root@master sbin]# ./start-all.sh Start 阅读全文
posted @ 2018-07-12 11:39 mhx_pyw 阅读(168) 评论(0) 推荐(0) 编辑
hadoop-3.0.0-alpha4安装部署过程
摘要：关闭防火墙 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux #vi /etc/selinux/config SELINUX=dis 阅读全文
posted @ 2018-07-12 11:34 mhx_pyw 阅读(144) 评论(0) 推荐(0) 编辑
虚拟机网络配置
摘要：1.与我的Mac共享： 与主机不同网段，通过主机共享网部网络 2.自动检测： 与主机在同一个局域网，即网段一样 阅读全文
posted @ 2018-07-12 10:04 mhx_pyw 阅读(110) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示