摘要：1. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的... 阅读全文

摘要：摘要： （1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Th... 阅读全文

摘要：elasticsearch 摘要： 1 es是一个分布式全文搜索引擎。特定是：无中心化，实时，扩展性强。 2. es有几个好的概念或者特点：（1）cluster 集群无中心化。（2）shards。分片，通过分片实现分布式。（3）通过快照的方式实现方便的备份和恢复。 ... 阅读全文

摘要：摘要：es可以通过简单的命令对索引或者整个集群进行快照和恢复 快照和恢复 Snapshot and restore 模块允许创建单个索引或者整个集群的快照到远程仓库. 在初始版本里只支持共享文件系统的仓库，但是现在通过官方的仓库插件可以支持各种各样的后台仓库。 仓库 在进行任... 阅读全文