03 2019 档案
摘要:Grafan监控:http://docs.grafana.org/ Tez:http://tez.apache.org/install.html 阿里巴巴镜像:https://opsx.alibaba.com/mirror Hadoop官方文档:http://hadoop.apache.org/do
阅读全文
摘要:https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name
阅读全文
摘要:1.安装salt-minion sed -i 's/^#//g' /etc/yum.repos.d/centos7.4.repo sed -i 's/enabled=0/enabled=1/g' /etc/yum.repos.d/centos7.4.repo rm -rf /etc/salt/pki
阅读全文
摘要:Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项, 这可以让有经验的管理员提高引人注目的系统性能。用sysctl可以读取设置超过五百个系统变量。基于这点,sysctl(8) 提供两个功能:读取和修改系统设置。 查看所有可读变量: %
阅读全文
摘要:salt-master建立分组 如dn: 'L@dnxxx,dyyy' salt -N dn state.apply hadoop test=true salt -N dn cmd.run 'ls -ll /' salt -N dn test.ping salt 'dnxxx' test.ping
阅读全文
摘要:beeline -u " jdbc:hive2://10.202.77.201:10000" -n hive -p hiveset hive.execution.engine=tez; nohup hive --service hiveserver2 &nohup hive --service me
阅读全文
摘要:查看gc情况: jstat -gc PID 刷新频率 jstat -gc 12538 5000 导出堆内存dump 文件: jmap -dump:file=文件名.bin [pid] 导出线程dump文件 jstack 12377 > stack.log 大牛分析dump:https://blog.
阅读全文
摘要:Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如,一个1MB的文件以大小为12
阅读全文
摘要:python -m SimpleHTTPServer 8888#!/bin/bash sed -i 's/^#//g' /etc/yum.repos.d/centos7.4.repo sed -i 's/enabled=0/enabled=1/g' /etc/yum.repos.d/centos7.
阅读全文
摘要:1.NameNode启动过程 采用多线程写入fsimage,能够有效的提升fsimage加载速度,从而缩短NameNode启动速度。如果NameSpace存在大量文件,使得fsimage文件巨大,则这种时间缩短会更加明显。 重启过程尽可能避免出现CheckPoint。触发CheckPoint有两种情
阅读全文
摘要:set mapred.job.queue.name=pms; //设置队列set hive.exec.reducers.max=8; //设置最大的reducersset mapred.reduce.tasks=8; //设置最大的redue tasksset hive.exec.parallel=
阅读全文
摘要:[Unit] Description=Datanode After=syslog.target network.target auditd.service sshd.service datanode_precheck.service Requires=datanode_precheck.servic
阅读全文
摘要:#!/bin/bash #以hdfs用户执行jstack每分钟采集一次namenode heapstack日志 #mkdir -p /tmp/jstack export JAVA_HOME=xxx cd /log/hadoop/jstack_nn pid=$(${JAVA_HOME}/bin/jps
阅读全文
摘要:lsof `which httpd` //那个进程在使用apache的可执行文件 lsof /etc/passwd //那个进程在占用/etc/passwd lsof /dev/hda6 //那个进程在占用hda6 lsof /dev/cdrom //那个进程在占用光驱 lsof -c sendma
阅读全文
摘要:HDFS balancer配置(可通过CM配置)dfs.datanode.balance.max.concurrent.moves 并行移动的block数量,默认5 dfs.datanode.balance.bandwidthPerSec Balance工具所占用的带宽,默认1048576(1MB)
阅读全文
摘要:概述 YARN命令是调用bin/yarn脚本文件,如果运行yarn脚本没有带任何参数,则会打印yarn所有命令的描述。 使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIO
阅读全文
摘要:3.修改xxx.sh 加入export JAVA_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=8999 -Dcom.sun.management.jmxremo
阅读全文
摘要:/etc/crontab文件和crontab -e命令区别 1、格式不同 分 时 日 月 星期 要运行的命令 第1列分钟1~59 第2列小时1~23(0表示子夜) 第3列日1~31 第4列月1~12 第5列星期0~7(0和7表示星期天) 第6列要运行的命令 前者 # For details see
阅读全文
摘要:操作说明: 为了防止在linux下执行操作的时候误操作rm -rf /,或者rm -rf 一些比较重要的目录,我们做以下操作来限制rm的删除 1、下载源码安装包 https://raw.githubusercontent.com/bazingafraser/cv/master/article/rm/
阅读全文
摘要:1.使用系统自带的命令: watch more /proc/net/dev 2. 使用nload命令,需要自行安装 1)# yum install flex byacc libpcap ncurses ncurses-devel libpcap-devel2)# wget http://www.ro
阅读全文
摘要:1. 副本策略 NameNode具有RackAware机架感知功能,这个可以配置。 若client为DataNode节点,那存储block时,规则为:副本1,同client的节点上;副本2,不同机架节点上;副本3,同第二个副本机架的另一个节点上;其他副本随机挑选。 若client不为DataNode
阅读全文
摘要:python2: python -m SimpleHTTPServer 8888 python2: python -m SimpleHTTPServer 8888 python3: python -m http.server 8888 wget ip:8888/文件 python3: python
阅读全文