摘要: BUG修复:HDFS-13112 这两天排查了小集群Crash的问题,这里先总结下这两天排查的结果 一、查看日志 首先查看了Namenode Crash的时候的日志 (一)以下是patch hdfs-11306输出的日志:可以看出还保存在bufCurrent中的op是CancelDelegation 阅读全文
posted @ 2019-09-12 09:36 MoonyPog 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 零售KDC管理的域为TESTA.COM 华为集群管理的域为hadoop.com (目前测试了hdfs cli,下午在UAT集群测试下distcp) 一、 零售KDC升级支持AES加密算法 1、 修改/usr/local/var/krb5kdc/kdc.conf文件中的realms部分 master_ 阅读全文
posted @ 2019-08-27 10:49 MoonyPog 阅读(541) 评论(0) 推荐(0) 编辑
摘要: 环境: 29.3.203.53(sysops00065017) 部署KDC Namnode Datanode,KDC负责TESTA.COM域的认证 29.3.203.54(sysops00065018) 部署KDC Namnode Datanode,KDC负责TESTB.COM域的认证 确保两台机器 阅读全文
posted @ 2019-08-16 09:50 MoonyPog 阅读(444) 评论(0) 推荐(0) 编辑
摘要: ip='{{ inventory_hostname }}';dt=`date -d '1 days ago' +"%Y-%m-%d"`;for i in `ls /sas/SAS94/SASConfig/Lev2/SASApp/WorkspaceServer/Logs/SASApp_WorkspaceServer_${dt}*`;do user=`grep "CLIENTUSERID" $i... 阅读全文
posted @ 2019-08-07 10:31 MoonyPog 阅读(179) 评论(0) 推荐(0) 编辑
摘要: lsof 进程打开文件: lsof /tmp/test.txt 打开文件的信息 -c 某个程序打开的文件 (可以多个-c) -u user 某个用户的打开 (^user 排除user的其他用户打开) -p 2333,444,99 进程打开 (-p ^233 排除pid 233 ) -g 500 用户 阅读全文
posted @ 2019-06-27 11:27 MoonyPog 阅读(153) 评论(0) 推荐(0) 编辑
摘要: yml文件中申明vars时需要用双引号包起来 - hosts: test vars: path: "{{ base_path }}/test" -e EXTRA_VARS, --extra-vars=EXTRA_VARS (优先级最高) --extra-vars 实现vars替换、定义 --extra-vars '{"xx":["a","b","c"]}'... 阅读全文
posted @ 2019-06-25 11:33 MoonyPog 阅读(143) 评论(0) 推荐(0) 编辑
摘要: @classmethod 标识类方法,第一个参数自动绑定到自身类对象(cls),可通过cls 访问类中对象 @staticmethod 静态方法 @property 属性装饰: 设置只读属性、重写属性set、get 阅读全文
posted @ 2019-06-21 16:58 MoonyPog 阅读(168) 评论(0) 推荐(0) 编辑
摘要: anaconda2/lib/python2.7/site-packages/notebook/auth/login.py 阅读全文
posted @ 2019-06-21 14:50 MoonyPog 阅读(373) 评论(0) 推荐(0) 编辑
摘要: ERROR org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: ReplicationMonitor thread received Runtime exception. java.lang.ArrayIndexOutOfBoundsException at org.apache.hadoop.hdfs.serv... 阅读全文
posted @ 2019-06-21 11:10 MoonyPog 阅读(422) 评论(0) 推荐(0) 编辑
摘要: /etc/hadoop/conf/hadoop-metrics2.properties namenode.sink.ganglia.servers=10.0.0.1:8649 datanode.sink.ganglia.servers=10.0.0.1:8649 journalnode.sink.ganglia.servers=10.0.1.1:8649 resourcemanager.sin... 阅读全文
posted @ 2019-06-20 15:18 MoonyPog 阅读(215) 评论(0) 推荐(0) 编辑