摘要： 综合利用Nagios、Ganglia和Splunk搭建起的云计算平台监控体系，具备错误报警、性能调优、问题追踪和自动生成运维报表的功能。有了这套系统，就可轻松管理Hadoop/HBase云计算平台。云计算早已不是停留在概念阶段了，各大公司都购买了大量的机器，开始正式的部署和运营。而动辄上百台的性能强劲的服务器，为运营管理带来了巨大的挑战。如果没有方便的监控报警平台，对于管理员而言犹如噩梦，每天都将如救火队员一样，飞快地敲击键盘，用原始的Unix命令在多台机器中疲于奔命。如果没有好的日志管理平台，对于开发者Troubleshooting更是一件泪流满面的事情。而如果你是运维团队的总负责人，简洁清 阅读全文

摘要： 转自：http://gtstorageworld.blog.51cto.com/908359/1286758根据数据来源划分，大数据主要包括三类：商业运作产生的数据、人类行为产生的数据和机器数据。目前，人们谈论最多的是前两类数据的 处理和分析。创立于2004年的Splunk公司独树一帜，从公司成立之初就一直专注于机器数据的处理和分析。Splunk公司产品营销副总裁 SanjayMehta在接受本报记者采访时表示，机器大数据未来具有非常广阔的发展前景。 机器大数据有可为 何为机器数据?人们的每项活动都会在机器数据中留下痕迹，这些数据包含客户行为、使用事务处理、应用程序行为、服务水平等的明确... 阅读全文

摘要： Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类. Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库. 阅读全文