信方互联网硬汉

摘要： Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

摘要： 1.Linux运维基础采集项 做运维，不怕出问题，怕的是出了问题，抓不到现场，两眼摸黑。所以，依靠强大的监控系统，收集尽可能多的指标，意义重大。但哪些指标才是有意义的呢，本着从实践中来的思想，各位工程师在长期摸爬滚打中总结出来的经验最有价值。 在各位运维工程师长期的工作实践中，我们总结了在系统运维过 阅读全文

摘要： 1.登录测试服务器xxxxxx xxxxxx su root输入xxxx 2.先修改Tomcat的启动脚本，（linux下为catalina.sh），添加以下内容: CATALINA_OPTS="$CATALINA_OPTS -Dcom.sun.management.jmxremote -Djava.rmi.server.hostname=xxxx -Dcom.sun.management.j... 阅读全文

摘要： Hadoop NameNode 高可用 (High Availability) 实现解析 NameNode 高可用整体架构概述 在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题 阅读全文

摘要： 1.fdisk -l 2.增加分区 3.3:键入 p，主分区，并键入3（编号）： 默认起始扇区和结束扇区即可(键入两次Enter) 键入t，修改分区类型为8e： 键入w，写分区表，然后重启： 卷扩容,添加进LVM组 查看卷组,并将初始化的分区加入到虚拟卷组 为卷组vg_root添加新的物理卷sda3 阅读全文

摘要： 设置文件数配额 hdfs dfsadmin -setQuota <N> <directory>...<directory> 例如：设置目录下的文件总数为1000个hdfs dfsadmin -setQuota 1000 /p/work 清除配额 hdfs dfsadmin -clrQuota <di 阅读全文

摘要： 在Hadoop2.0之前，HDFS的单NameNode设计带来诸多问题： 单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等 为了解决这些问题，除了用基于共享存储的HA解决方案我们还可以用HDFS的Federation机制来解决这个问题。 【单机 阅读全文

摘要： $ nohup hdfs balancer \ -Ddfs.datanode.balance.max.concurrent.moves = 10 \ -Ddfs.balancer.dispatcherThreads = 1024 \ -Ddfs.balance.bandwidthPerSec = 1 阅读全文

摘要： su root vim /etc/sudoers.d/sfapp sfapp ALL=(ALL) ALLsfapp ALL=(ALL) NOPASSWD: ALL Defaults !env_reset :wq! 阅读全文

摘要： #!/bin/sh #配置用户sudo权限（参考/etc/sudoers文件，在/etc/sudoers.d/新建一个用户配置文件，注意要注销） #需要在/etc/sudoers末尾追加：sfapp ALL=(ALL) NOPASSWD:ALL #JDK配置,三台机器已配置，略 #修改hostname和加入主机映射（/etc/hosts） #配置网络/etc/sysconfig/networ... 阅读全文