摘要: Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又 阅读全文
posted @ 2019-06-16 17:12 旺仔小码头 阅读(1677) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个L 阅读全文
posted @ 2019-06-16 14:35 旺仔小码头 阅读(4095) 评论(1) 推荐(2) 编辑
摘要: logstash pipeline 包含两个必须的元素:input和output,和一个可选元素:filter。 从input读取事件源,(经过filter解析和处理之后),从output输出到目标存储库(elasticsearch或其他)。 在生产环境使用logstash,一般使用都将配置写入文件 阅读全文
posted @ 2019-06-16 12:08 旺仔小码头 阅读(64062) 评论(1) 推荐(1) 编辑