flume+kafka+storm+mysql架构设计
摘要:前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考。 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql (项目是maven项目,需要改动mysql配置,提供两种topology:读取本地文件(用来本地测试);读取服务器
阅读全文
posted @
2015-11-26 20:24
duanxz
阅读(1620)
推荐(0) 编辑
kafka之二:Kafka 设计与原理详解
摘要:一、Kafka简介 转载请注明出处 : 本文链接 1.1 背景历史 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费(consume)(处理
阅读全文
posted @
2015-08-05 17:03
duanxz
阅读(1416)
推荐(0) 编辑
kafka之五:如何手动更新Kafka中某个Topic的偏移量
摘要:本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中,有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的,所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法,这里
阅读全文
posted @
2015-08-05 16:49
duanxz
阅读(2326)
推荐(0) 编辑
kafka之六:为什么Kafka那么快
摘要:转自: http://mp.weixin.qq.com/s?__biz=MzIxMjAzMDA1MQ==&mid=2648945468&idx=1&sn=b622788361b384e152080b60e5ea69a7#rd https://blog.csdn.net/fdsafwagdagadg6
阅读全文
posted @
2015-08-05 16:49
duanxz
阅读(7128)
推荐(1) 编辑
kafka之一:Windows上搭建Kafka运行环境
摘要:搭建环境 1. 安装JDK 1.1 安装文件:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.1.2 安装完成后需要添加以下的环境变量(右键点击“我的电脑”
阅读全文
posted @
2015-08-05 16:48
duanxz
阅读(828)
推荐(0) 编辑
用Apache Kafka构建流数据平台的建议
摘要:在《流数据平台构建实战指南》第一部分中,Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心。InfoQ前期对此进行过报道。本文是根据第二部分整理而成。在这一部分中,Jay给出了一些构建数据流平台的具体建议。 限制集群数量 Kafka集群数量越少,系统架构就越简单
阅读全文
posted @
2015-08-05 16:47
duanxz
阅读(904)
推荐(0) 编辑
kafka数据可靠性深度解读【转】
摘要:1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借着自身的
阅读全文
posted @
2015-08-05 16:47
duanxz
阅读(465)
推荐(0) 编辑
漫游Kafka实战篇之搭建Kafka运行环境
摘要:原文地址:http://blog.csdn.net/honglei915/article/details/37564329 接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka 点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > c
阅读全文
posted @
2015-08-05 14:47
duanxz
阅读(406)
推荐(0) 编辑
Zero-Copy&sendfile浅析
摘要:一、典型IO调用的问题一个典型的web服务器传送静态文件(如CSS,JS,图片等)的过程如下:read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf,然后调用write将tmp_buf写入到socke...
阅读全文
posted @
2015-06-30 22:35
duanxz
阅读(1051)
推荐(1) 编辑
分布式消息系统:Kafka
摘要:Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中...
阅读全文
posted @
2015-06-30 16:33
duanxz
阅读(695)
推荐(0) 编辑
用Apache Kafka构建流数据平台
摘要:近来,有许多关于“流处理”和“事件数据”的讨论,它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是,Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Ap...
阅读全文
posted @
2015-06-30 16:20
duanxz
阅读(1221)
推荐(0) 编辑
kafka与传统的消息中间件对比
摘要:RabbitMQ和kafka从几个角度简单的对比 业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比, 在应用场景方面, RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传
阅读全文
posted @
2015-06-30 16:09
duanxz
阅读(9839)
推荐(1) 编辑
kafka之四:Kafka集群搭建
摘要:1、软件环境 1、linux一台或多台,大于等于2 2、已经搭建好的zookeeper集群 3、软件版本kafka_2.11-0.9.0.1.tgz 1、linux一台或多台,大于等于2 2、已经搭建好的zookeeper集群 3、软件版本kafka_2.11-0.9.0.1.tgz 2、创建目录并
阅读全文
posted @
2015-05-10 19:50
duanxz
阅读(463)
推荐(0) 编辑
kafka之三:kafka java 生产消费程序demo示例
摘要:kafka是吞吐量巨大的一个消息系统,它是用scala写的,和普通的消息的生产消费还有所不同,写了个demo程序供大家参考。kafka的安装请参考官方文档。 首先我们需要新建一个maven项目,然后在pom中引用kafka jar包,引用依赖如下: <dependency> <groupId>org
阅读全文
posted @
2015-04-01 23:30
duanxz
阅读(1754)
推荐(0) 编辑