08 2019 档案

摘要:我们知道过去对于Kafka的定义是分布式,分区化的,带备份机制的日志提交服务。也就是一个分布式的消息队列,这也是他最常见的用法。但是Kafka不止于此,打开最新的官网。 我们看到Kafka最新的定义是:Apache Kafka® is a distributed streaming platform 阅读全文
posted @ 2019-08-30 11:25 独孤风 阅读(4343) 评论(0) 推荐(0) 编辑
摘要:​ 数据架构设计领域正在发生一场变革,其影响的不仅是实时处理业务,这场变革可能将基于流的处理视为整个架构设计的核心,而不是将流处理只是作为某一个实时计算的项目使用。本文将对比传统数据架构与流处理架构的区别,并将介绍如何将流处理架构应用于微服务及整体系统中。 传统数据架构 ​ 传统数据架构是一种中心化 阅读全文
posted @ 2019-08-29 10:15 独孤风 阅读(2907) 评论(1) 推荐(0) 编辑
摘要:flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。 首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https://flink.apache. 阅读全文
posted @ 2019-08-28 13:28 独孤风 阅读(3006) 评论(0) 推荐(2) 编辑
摘要:​ Kafka是由LinkIn开源的实时数据处理框架,目前已经更新到2.3版本。不同于一般的消息中间件,Kafka通过数据持久化和磁盘读写获得了极高的吞吐量,并可以不依赖Storm,SparkStreaming的流处理平台,自己进行实时的流处理。 ​ Kakfa的Offset机制是其最核心机制之一, 阅读全文
posted @ 2019-08-27 17:12 独孤风 阅读(6968) 评论(0) 推荐(1) 编辑
摘要:我们都知道Kafka的吞吐量很大,但是Kafka究竟会不会丢失消息呢?又会不会重复消费消息呢? ​ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达,比如无人机实时监控系统,当无人机闯入机场区域,我们必须立刻报警,不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢, 阅读全文
posted @ 2019-08-26 15:49 独孤风 阅读(2259) 评论(0) 推荐(0) 编辑
摘要:对于大数据集群来说,监控功能是非常必要的,通过日志判断故障低效,我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。 一、Kafka Monitoring 首先介绍kafka的监控原理,第三方工具也是通过这些来进行监控的,我们也可以自己去是实现监控,官 阅读全文
posted @ 2019-08-23 11:48 独孤风 阅读(20351) 评论(3) 推荐(0) 编辑
摘要:​ 此文选自Google大神Tyler Akidau的另一篇文章:Streaming 102: The world beyond batch ​ 欢迎回来!如果您错过了我以前的帖子,Streaming-大数据的未来,强烈建议您先花时间阅读那篇文章。 简要回顾一下,上一篇我们介绍了Streaming, 阅读全文
posted @ 2019-08-22 16:06 独孤风 阅读(1075) 评论(0) 推荐(0) 编辑
摘要:分享一篇关于实时流式计算的经典文章,这篇文章名为Streaming 101: The world beyond batch 那么流计算如何超越批处理呢? 从这几个方面说明:实时流计算系统,数据处理模式,还有大数据的未来。 一、实时流式计算系统 实时流式计算的意义: 1、企业渴望获得更及时的数据,实时 阅读全文
posted @ 2019-08-21 15:43 独孤风 阅读(1483) 评论(0) 推荐(0) 编辑
摘要:使用kafka客户端的时候,一定要注意版本的问题,不然可能会各种报错。 kafka0.9版本以后用java重新编写了producer,废除了原来scala编写的版本。 这里直接使用最新2.3版本,0.9以后的版本都适用。 注意引用的包为:org.apache.kafka.clients.produc 阅读全文
posted @ 2019-08-21 09:40 独孤风 阅读(612) 评论(0) 推荐(0) 编辑
摘要:Kafka旧版本producer由scala编写,0.9以后已经废除,但是很多公司还在使用0.9以前的版本,所以总结如下: 要注意包Producer是 kafka.javaapi.producer.Producer 这个才是java api使用的包 示例代码如下: import kafka.prod 阅读全文
posted @ 2019-08-20 14:26 独孤风 阅读(325) 评论(0) 推荐(0) 编辑
摘要:通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。 一、旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer。 入口类:kaf 阅读全文
posted @ 2019-08-19 16:47 独孤风 阅读(4238) 评论(1) 推荐(1) 编辑
摘要:请使用0.9以后的版本: 示例代码 Properties props = new Properties(); props.put("bootstrap.servers", "kafka01:9092,kafka02:9092"); props.put("group.id", "test"); pro 阅读全文
posted @ 2019-08-16 10:17 独孤风 阅读(2385) 评论(0) 推荐(1) 编辑
摘要:通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署,使用,但他和其他的消息中间件有什么不同呢? Kafka的基本原理,术语,版本等等都是怎么样的?到底什么是Kafka呢? 一、Kafka简介 htt 阅读全文
posted @ 2019-08-15 16:14 独孤风 阅读(2244) 评论(0) 推荐(0) 编辑
摘要:实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢? 谷歌大神Tyler Akidau在《the-world 阅读全文
posted @ 2019-08-09 08:52 独孤风 阅读(6018) 评论(0) 推荐(1) 编辑
摘要:通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解。producer比consumer要简单一些。 一、旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer。 入口类:kaf 阅读全文
posted @ 2019-08-06 15:58 独孤风 阅读(1285) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示