04 2019 档案

摘要:1.hdfs目录配额 #设置配额目录hdfs dfsadmin -setSpaceQuota 10T /user/hive/warehouser/tmp查看配额目录信息hdfs dfs -count -q -h /user/hive/warehouser/tmp#清除配额目录信息hdfs dfsad 阅读全文
posted @ 2019-04-29 10:36 信方 编辑
摘要:1.Alt +P 进入sftp会话 2.pwd显示linux目录 lpwd显示windows目录 3.lcd切换windows目录 cd切换linux目录 4.put上传 5.get下载 6.help帮助 阅读全文
posted @ 2019-04-29 10:11 信方 编辑
摘要:jmap -heap pid 查看gc情况: jstat -gc PID 刷新频率 jstat -gc 12538 5000 导出堆内存dump 文件: jmap -dump:file=文件名.bin [pid] 导出线程dump文件 jstack 12377 > stack.log jstack 阅读全文
posted @ 2019-04-29 10:10 信方 编辑
摘要:namenode机器磁盘IO负载持续承压,造成NAMENODE切换多次及访问异常。 1 初始化新机器1.1 在新器1.1.1.3部署hadoop软件(直接复制standby1.1.1.2节点)1.2 初始化/log,/data/等目录1.3 试启动namenode,zkfc,以便确认目录权限OK注: 阅读全文
posted @ 2019-04-29 10:06 信方 编辑
摘要:Hadoop参数汇总 linux参数 以下参数最好优化一下: JVM参数 Hadoop参数大全 要配置文件: core hdfs yarn mapred 重要性表示如下: 重要 一般 不重要 core-default.xml hadoop.common.configuration.version 配 阅读全文
posted @ 2019-04-28 17:51 信方 编辑
摘要:分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PAR 阅读全文
posted @ 2019-04-28 15:20 信方 编辑
摘要:hadoop集群日常运维命令 #1.namenode hadoop namenode -format #格式化,慎用 su hdfs hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode #2.journalnode hadoo 阅读全文
posted @ 2019-04-28 11:29 信方 编辑
摘要:DistCp(Distributed Copy)是用于大规模集群内部或者集群之间的高性能拷贝工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 DistCp是Apache Hadoop自带的 阅读全文
posted @ 2019-04-28 10:32 信方 编辑
摘要:#curl http://xxx:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 #curl http://xxx:8088/jmx?qry=Hadoop:service=ResourceManager,name=Q 阅读全文
posted @ 2019-04-26 14:07 信方 编辑
摘要:一、第一种方法 重启namenode(1.1.1.1 1.1.1.2)重启standby节点:1.1hadoop-daemon.sh stop zkfchadoop-daemon.sh stop namenodehadoop-daemon.sh start namenodehadoop dfsadm 阅读全文
posted @ 2019-04-25 13:51 信方 编辑
摘要:一、datanode添加新节点 1.在dfs.include文件中包含新节点名称,该文件在名称节点的本地目录下 [白名单] [/app/hadoop/etc/hadoop/dfs.include] 2.在hdfs-site.xml文件中添加属性 <property> <name>dfs.hosts< 阅读全文
posted @ 2019-04-23 10:46 信方 编辑
摘要:#!/bin/sh ip=xxx port=8088 export HADOOP_HOME=xxx rmstate1=$($HADOOP_HOME/yarn rmadmin -getServiceState rm1) rmstate2=$($HADOOP_HOME/yarn rmadmin -get 阅读全文
posted @ 2019-04-22 11:13 信方 编辑
摘要:wget https://dl.grafana.com/oss/release/grafana-6.1.4-1.x86_64.rpm sudo yum localinstall grafana-6.1.4-1.x86_64.rpm init.d脚本/etc/init.d/grafana-server 阅读全文
posted @ 2019-04-20 20:33 信方 编辑
摘要:Yarn metrics参数说明 获取Yarn jmx信息:curl -i http://xxx:8088/jmx Hadoop:service=ResourceManager,name=FSOpDurationsHadoop:service=ResourceManager,name=JvmMetr 阅读全文
posted @ 2019-04-20 14:53 信方 编辑
摘要:参考https://book.open-falcon.org/zh_0_2/quick_install/prepare.html一、安装后端1.环境准备yum -y install redisyum install golang -y ##需要epel源配置环境变量(/etc/profile)exp 阅读全文
posted @ 2019-04-20 13:05 信方 编辑
摘要:#!/bin/sh #yarn job status:NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED nnum=$(xx/yarn application -list -appStates NEW | wc -l) n 阅读全文
posted @ 2019-04-17 18:22 信方 编辑
摘要:目前zookeeper获取监控指标已知的有两种方式: 1、通过zookeeper自带的 four letter words command 获取各种各样的监控指标 2、通过JMX Client连接zookeeer对外提供的MBean来 获取监控指标 (需要修改启动脚本,使其支持远程JMX连接) 上述 阅读全文
posted @ 2019-04-17 10:11 信方 编辑
摘要:参考:http://www.lixiuliang.cn/categories/%E5%A4%A7%E6%95%B0%E6%8D%AE/ 1.修改bin/hive文件 添加jvm启动参数: 2.修改conf/hive-site.xml文件 开启MetaStore JXMReporter: 3.启动Me 阅读全文
posted @ 2019-04-17 09:50 信方 编辑
摘要:1.hadoop-env.sh添加export HADOOP_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=6999 -Dcom.sun.manageme 阅读全文
posted @ 2019-04-16 15:32 信方 编辑
摘要:一、故障现象 两个节点的ResourceManger频繁在active和standby角色中切换。不断有active易主的告警发出 许多任务的状态没能成功更新,导致一些任务状态卡在NEW_SAVING无法进入调度(还有许多资源空闲) 看了下ResourceManger的日志,发现大量以下错误: or 阅读全文
posted @ 2019-04-12 15:43 信方 编辑
摘要:1. Map输入合并小文件对应参数:set mapred.max.split.size=256000000; #每个Map最大输入大小set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 set mapred.min.spli 阅读全文
posted @ 2019-04-10 15:57 信方 编辑
摘要:salt '*id*' test.ping salt -N 组名 cmd.run '' salt -G "ipv4:0.0.0.0" cmd.run '' salt '*id*' cp.get_file salt://xxx/xxx /xxx/xxx salt -N 组名 state.apply h 阅读全文
posted @ 2019-04-09 14:09 信方 编辑
摘要:系统参数监控metrics load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime 系统启动时间,精确到秒 bytes_in 网络接收速度,单位bytes/sec bytes_out 网络发送速度,单位 阅读全文
posted @ 2019-04-04 10:12 信方 编辑
摘要:1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换。hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换【可选】hdfs haadmin -ns bdpfin 阅读全文
posted @ 2019-04-03 15:10 信方 编辑

点击右上角即可分享
微信分享提示