随笔分类 - KafKa
摘要:转自:http://www.cnblogs.com/davidwang456/p/4313784.html 原文:http://blog.csdn.net/changong28/article/details/39325079 使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时
阅读全文
摘要:转自: http://www.infoq.com/cn/articles/high-availability-broker-design?utm_source=tuicool&utm_medium=referral 在要求严格顺序消息的场景下,消息的发送者,BROKER端(BROKER端和消息存储放
阅读全文
摘要:转自:http://www.cnblogs.com/fxjwind/p/4972244.html Kafka 作为 high throughput 的消息中间件,以其性能,简单和稳定性,成为当前实时流处理框架中的主流的基础组件。 当然在使用 Kafka 中也碰到不少问题,尤其是 failover 的
阅读全文
摘要:本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failover,
阅读全文
摘要:转自:http://www.infoq.com/cn/articles/kafka-analysis-part-2/ Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker
阅读全文
摘要:转自:http://blog.csdn.net/bailove/article/details/44240303 业务场景 来疯直播互动平台,每天有数百万人上下线,有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消
阅读全文
摘要:转自:http://www.cnblogs.com/colorfulkoala/p/4333103.html?utm_source=tuicool&utm_medium=referral 视频地址:http://v.youku.com/v_show/id_XOTMzNDc2Nzg0.html 上古十
阅读全文
摘要:转自:http://tech.meituan.com/kafka-fs-design-theory.html Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/
阅读全文
摘要:转自:http://www.cnblogs.com/fxjwind/p/3810740.html?utm_source=tuicool&utm_medium=referral附kafka consumer防止数据丢失:http://www.fwqtg.net/kafka-consumer%E9%98...
阅读全文
摘要:转自:http://my.oschina.net/frankwu/blog/355298采集层主要可以使用Flume, Kafka两种技术。Flume:Flume是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.Kafka:Kafka是一个可持久化的分布式的消息队列。Kafka是...
阅读全文
摘要:转自:http://blog.csdn.net/colorant/article/details/12081909==是什么==简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)目标Scope(解决什么问题)kafka开发的主要初衷目标是构建一个用来...
阅读全文
摘要:转自:http://my.oschina.net/frankwu/blog/303745Kafka 之 中级:http://my.oschina.net/frankwu/blog/305010摘要最近研究采集层,对Kafka做了一个研究。分为入门,中级,高级步步进阶。本篇主要介绍基本概念,适用场景。...
阅读全文
摘要:转自:http://blog.csdn.net/qqqq724/article/details/43228863背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性...
阅读全文
摘要:转自:http://blog.csdn.net/zhongwen7710/article/details/41251779我们为什么要搭建该系统Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的...
阅读全文