摘要：
第133讲：Hadoop集群监控Ganglia架构设计和运行机制详细解析学习笔记可监控和显示集群中节点的各种状态信息，如CPU/内存、磁盘利用率，IO负载，网络流量等。ganglia可将历史数据以曲线形式非常友好地以php页面形式展现，本身有很好的扩展性，允许用户加入自己想监控的信息。要监控特殊信息... 阅读全文
摘要：
第132讲：Hadoop集群监控：日志、Metrics学习笔记一般用第三方工具，因为有针对性，可视化更好。监控的目标是检测集群，在什么时候没有提供需要的服务。hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode... 阅读全文
摘要：
第131讲：Hadoop集群管理工具均衡器Balancer实战详解学习笔记为什么需要均衡器呢？随着集群运行，具体hdfs各个数据存储节点上的block可能分布得越来越不均衡，会导致运行作业时降低mapreduce的本地性。分布式计算中精髓性的一名话：数据不动代码动。降低本地性对性能的影响是致使的，而... 阅读全文
摘要：
第130讲：Hadoop集群管理工具DataBlockScanner实战详解学习笔记DataBlockScanner在datanode上运行的block扫描器，定期检测当前datanode节点上所有的block，从而在客户端读到有问题的块前及时检测和修复有问题的块。它有所有维护的块的列表，通过对块的... 阅读全文
摘要：
第129讲：Hadoop集群管理工具fsck实战详解学习笔记是用检查hdfs具体文件、文件夹的健康状况的。这个工具帮助我们检查hdfs中文件在datanode中缺失的块及过程或过少的replication复本的内容。hadoopfsckPATH会从给定路径循环遍历文件系统中的内容，但此时访问的是na... 阅读全文
摘要：
第128讲：Hadoop集群管理工具dfsadmin实战详解学习笔记通过dfsadmin可以查看hdfs的一些信息也可以执行一些管理操作。要想使用dfsadmin需要有管理员权限，因为dfsadmin可以修改hdfs的内容。使用hadoopdfsadmin命令可以显示帮助。hadoopdfsadmi... 阅读全文
摘要：
第127讲：Hadoop集群管理之安全模式解析及动手实战学习笔记hadoop在启动时namenode会把fsimage加载进内存，同时和edits内容合并，以此建立整个文件系统的元数据的镜像（内存级别），所以客户端可以通过namenode访问文件系统的信息。完成后变成一个新的fsimage，这个过程... 阅读全文