上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 39 下一页
摘要: https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name 阅读全文
posted @ 2019-03-29 10:39 信方 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 1.安装salt-minion sed -i 's/^#//g' /etc/yum.repos.d/centos7.4.repo sed -i 's/enabled=0/enabled=1/g' /etc/yum.repos.d/centos7.4.repo rm -rf /etc/salt/pki 阅读全文
posted @ 2019-03-29 10:36 信方 阅读(159) 评论(0) 推荐(0) 编辑
摘要: Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项, 这可以让有经验的管理员提高引人注目的系统性能。用sysctl可以读取设置超过五百个系统变量。基于这点,sysctl(8) 提供两个功能:读取和修改系统设置。 查看所有可读变量: % 阅读全文
posted @ 2019-03-29 10:27 信方 阅读(886) 评论(0) 推荐(0) 编辑
摘要: salt-master建立分组 如dn: 'L@dnxxx,dyyy' salt -N dn state.apply hadoop test=true salt -N dn cmd.run 'ls -ll /' salt -N dn test.ping salt 'dnxxx' test.ping 阅读全文
posted @ 2019-03-29 10:25 信方 阅读(1548) 评论(0) 推荐(0) 编辑
摘要: beeline -u " jdbc:hive2://10.202.77.201:10000" -n hive -p hiveset hive.execution.engine=tez; nohup hive --service hiveserver2 &nohup hive --service me 阅读全文
posted @ 2019-03-29 10:17 信方 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 查看gc情况: jstat -gc PID 刷新频率 jstat -gc 12538 5000 导出堆内存dump 文件: jmap -dump:file=文件名.bin [pid] 导出线程dump文件 jstack 12377 > stack.log 大牛分析dump:https://blog. 阅读全文
posted @ 2019-03-29 10:04 信方 阅读(1052) 评论(0) 推荐(0) 编辑
摘要: Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如,一个1MB的文件以大小为12 阅读全文
posted @ 2019-03-29 09:45 信方 阅读(597) 评论(0) 推荐(0) 编辑
摘要: python -m SimpleHTTPServer 8888#!/bin/bash sed -i 's/^#//g' /etc/yum.repos.d/centos7.4.repo sed -i 's/enabled=0/enabled=1/g' /etc/yum.repos.d/centos7. 阅读全文
posted @ 2019-03-22 17:16 信方 阅读(1238) 评论(0) 推荐(0) 编辑
摘要: yum -y install dos2unix dos2unix filename 阅读全文
posted @ 2019-03-22 11:56 信方 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 1.NameNode启动过程 采用多线程写入fsimage,能够有效的提升fsimage加载速度,从而缩短NameNode启动速度。如果NameSpace存在大量文件,使得fsimage文件巨大,则这种时间缩短会更加明显。 重启过程尽可能避免出现CheckPoint。触发CheckPoint有两种情 阅读全文
posted @ 2019-03-22 09:26 信方 阅读(872) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 39 下一页