摘要：
MapReduce：分布式编程处理模型HDFS：分布式文件系统Zookeeper：分布式集群协商服务软件HBASE：类似BigTable，基于列存储非结构化数据Hive：数据仓库Pig：创建mapreduce程序的高级脚本语言Flume/Chukwa：日志收集系统Sqoop：关系数据库向HDFS的转移工具Avro：数据序列化系统AvatarNode：单namenode的备份解决方案Cassandra：分布式NoSQL数据库Hama基于块同步并行(Bulk sync parall)的科学计算、图形处理等复杂计算工具Mashout：机器学习Ganglia/Hue：监控Nagios告警Scribe日 阅读全文
摘要：
Hadoop集群基准测试一、测试条件集群完全安装配置后，应立即开始基准测试。基准测试时集群里不应该运行其他一切任务。二、测试目标1.硬盘故障：新系统最常见的故障。可以通过运行高强度的IO基准测试程序集中测试。例如TestDFSIO2.MapReduce的性能三、测试方法1、TestDFSIO基准测试HDFS测试顺序应该是先写测试后读测试写测试：使用10个map任务写10个文件，每个500m。hadoopjar$HADOOP_HOME/hadoop-test-*.jarTestDFSIO-write-nrFiles10-fileSize1000在运行的最后，结果被写入控制台并记录到当前路径Tes 阅读全文