摘要：配置监控 1、修改flume-env.sh 2、使用以下启动命令 指标项整理 OS监控项 json数据格式 指标项说明 source监控项 channel监控项 sink监控项 Flume启动关闭脚本： # vim flume.sh # sh flume.sh start 阅读全文

摘要：一、Fume-Taidir Flume1.7.0加入了taildirSource作为agent的source。可以说是 Spooling Directory Source + Exec Source 的结合体。可以监控多个目录，并且使用正则表达式匹配该目录中的文件名进行实时收集，并记录每个文件最新消 阅读全文

摘要：RocketMQ 相比于 RabbitMQ、Kafka 具有主要优势特性有： 支持事务型消息（消息发送和DB操作保持两方的最终一致性，RabbitMQ 和Kafka 不支持） 支持结合 RocketMQ 的多个系统之间数据最终一致性（多方事务，二方事务是前提） 支持18个级别的延迟消息（Rabbit 阅读全文

摘要：一、kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区 阅读全文

摘要：前言 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topi 阅读全文

摘要：一、简介RocketMQ RocektMQ是阿里巴巴在2012年开源的一个纯java、分布式、队列模型的第三代消息中间件，不仅在传统高频交易链路有着低延迟的出色表现，在实时计算等大数据领域也有着不错的吞吐。 2016年11月11号，双十一大促见证了RocketMQ低延迟存储架构的成功试水，99.99 阅读全文

摘要：Flume下载地址：http://apache.fayea.com/flume/ 官方使用文档： http://flume.apache.org/documentation.html 与RocketMQ的结合使用扩展：Rocket-Flume：https://github.com/apache/ro 阅读全文

摘要：先来说一下Kafka与RabbitMQ的对比： RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上。 Rabb 阅读全文

摘要：MQ全称为Message Queue， 消息队列（MQ）是一种应用程序对应用程序的通信方法 RabbitMQ是流行的开源消息队列系统，用erlang语言开发 几个概念说明： Broker：简单来说就是消息队列服务器实体。 Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。 Queu 阅读全文