摘要：
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持H 阅读全文
摘要：
问题导读： 1.如何在讲mapreduce函数中的字符串等信息，输出到eclipse控制台？ 2.除了使用下文方法，还有其它方法输出到控制台？ 3.map中，系统默认接受的value值是什么？ 4.reduce输出不是自己想要的结果，可能的原因是什么？ mapreduce不是很好理解，为什么？ 因为 阅读全文
摘要：
可以带着下面问题来阅读本文章： 1.Storm只支持什么传输 2.通过什么配置，可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上，UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0. 阅读全文
摘要：
问题导读： 1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？ 2.架构设计考虑需要考虑什么问题？ 3.Agent死机该如何解决？ 4.Collector死机是否会有影响？ 5.Flume-NG可靠性(reliability)方面做了哪些措施？ 美团的日志收集系统负责美团的所 阅读全文
摘要：
问题导读： 1.Flume的存在些什么问题？ 2.基于开源的Flume美团增加了哪些功能？ 3.Flume系统如何调优？ 在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程 阅读全文
摘要：
问题导读 1.什么是flume？ 2.flume包含哪些组件？ 3.Flume在读取utf-8格式的文件时会出现解析不了时间戳，该如何解决？ Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理， 阅读全文
摘要：
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅 阅读全文