随笔分类 - [406]Kafka
大数据生态
摘要：Kafka的分区数是不是越多越好？ 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上，实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作，而每个线程处理的是一个分区的数据。因此
阅读全文
摘要：复习要点 本文大概围绕如下几点进行阐述: 我们围绕以上七点进行阐述。需要说明一下，本文不是《消息队列从入门到精通》这种课程，因此只是提供一个复习思路，而不是去教你们怎么调用消息队列的API。建议对消息队列不了解的人，去找点消息队列的博客看看，再看本文，收获更大 1、为什么要使用消息队列? 分析:一个
阅读全文
摘要：一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consume
阅读全文
摘要：1.架构 主项 子项 rabbitMQ rocketMQ Kafka Hippo Tube 高可用 1：镜像队列。 2：集群。master/slave机制。 HA 同步双写和异步复制均支持 （同mafka） 1、中心节点：HA 高吞吐 性能 跟cpu 密切相关，5000是4核，5000左右。具体见r
阅读全文
摘要：MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 第一部分：RabbitMQ,ActiveMq,ZeroMq比较 1、 TPS比较 一 ZeroMq 最好，
阅读全文
摘要：1 文档说明 该文档描述的是以storm为主体的实时处理架构，该架构包括了数据收集部分，实时处理部分，及数据落地部分。 关于不同部分的技术选型与业务需求及个人对相关技术的熟悉度有关，会一一进行分析。 该架构是本人所掌握的一种架构，可能会与其他架构有相似的部分，个人会一一解释对其的理解。 这个文章写的
阅读全文
摘要：1. 相关概念 1. kafka是一个分布式的消息缓存系统2. kafka集群中的服务器都叫做broker3. kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4. kafka中不同业务系统的消息可
阅读全文