随笔分类 - 消息队列
摘要：原标题：Kafka如何做到1秒处理1500万条消息？ Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New Relic
阅读全文
摘要：Maven 生产者Producer 消费者Consumer
阅读全文
摘要：首先是启动一个生产者 启动配置参数如下所示： acks参数： 在考虑请求完成之前，生产者要求leader收到的确认数量，这将控制发送的记录的持久性。 acks=0如果设置为零，则生产者不会等待来自服务器的任何确认。该记录将被立即添加到套接字缓冲区并被视为已发送。在这种情况下，retries不能保证服
阅读全文
摘要：一、基本概念 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将
阅读全文
摘要：ONS， 全名Open Notification Service, 是阿里基于开源消息中间件RocketMQ的一个云产品。 首先，要申请阿里账号等。本地也可以申请阿里云账号自己调试。此处为公司拥有阿里云服务，与运维op申请ons测试可用的服务。 申请ONS需要的创建topic，PID，CID，acc
阅读全文
摘要：Kafka剖析（一）：Kafka背景及架构介绍 Kafka设计解析（二）：Kafka High Availability （上） Kafka设计解析（三）：Kafka High Availability （下） Kafka设计解析（四）：Kafka Consumer解析 Kafka设计解析（五）：K
阅读全文
摘要：Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。 1、丢包问题：消息推送服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网
阅读全文
摘要：阿里RocketMQ是怎样孵化成Apache顶级项目的？ RocketMQ 迈入50万TPS消息俱乐部 Apache RocketMQ背后的设计思路与最佳实践 专访RocketMQ联合创始人：项目思路、技术细节和未来规划 万亿级数据洪峰下的分布式消息引擎 十分钟入门RocketMQ RocketMQ
阅读全文
摘要：在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。 但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！ 这个特性看起来很简单，但
阅读全文
摘要：分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，它是怎样来解决这两个问题的？RocketMQ 有哪些关键特性？其实现
阅读全文
摘要：消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、Rock
阅读全文
摘要：背景 不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多
阅读全文
