摘要：
一、数据采集设计与要求 1、 数据采集设计与要求 1）彻底跟业务系统解耦：服务端数据落盘，然后通过flume采集，最后发送到kafka 2）采集架构采用两层，第一层采集层，第二层聚合层 3）采集需要有负载均衡的功能。充分利用资源 4）第一层agent挂掉后，重启采集不能丢失数据 5）第二层某个age 阅读全文
摘要：
憨 为什么会有消息系统 消息系统起到了一个什么作用呢？ 缓存的作用 解耦合 异步处理的效果 流量控制 1. kafka的核心概念 Topic（主题）：类似于关系型数据库里面的一张表（只是逻辑上的概念） Partition（分区）：跟数据里面的分区含义差不多，是为了提高性能的。 分区具体在服务器上面表 阅读全文