06 2017 档案
摘要：1.获取指定主机指定组件的信息列表 2.获取主机列表 3.获取主机的各种状态 注意：最后一个参数还可以换成"host_state"， 用来判断机器健康状态 : "HEALTHY/HEARTBEAT_LOST 4.获取服务状态 5.获取组件信息 6.获取指定主机上的服务 7.获取服务状态 8.获取集群
阅读全文
摘要：1.找到你需要修改的配置的最新版本 2.用正确的“tag”读取配置类型 注意：此处的tag=version1384716039631要换做第一步获取的最新的tag 3.把希望修改的部分保存为一个新的配置版本 注意：要确保用一个独一无二的tag，建议使用version+时间戳 4.重启所有组件或者服务
阅读全文
摘要：转载自：http://blog.csdn.net/a822631129/article/details/51313145 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。 一、背景 HDFS集群中只有一个Namenode，这就
阅读全文
摘要：转载自：http://reb12345reb.iteye.com/blog/2306818 在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机
阅读全文
摘要：单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈 常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数
阅读全文
摘要：早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo
阅读全文
摘要：使用JSONObject生成和解析json 1. json数据类型 类型描述 Number 数字型 String 字符串型 Boolean 布尔型 Array 数组 Object 对象 null 空值 （1）json中不区分整数、小数等类型，而统一使用Number来存储数字。 （2）Array表示数
阅读全文
摘要：最近由于项目的需要在看一些Ambari的api去获取集群的一些信息，获取集群节点的状态信息以及各个服务和组件的信息。然后在我们的数据服务管理平台上去做一些监控运维，现在把一些使用总结一下：官网rest api地址： https://cwiki.apache.org/confluence/displa
阅读全文
