随笔分类 -  Kafka

Kafka connect快速构建数据ETL通道
摘要：摘要: 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 业余时间调研了一下Kafka connect的配置和使用，记录一些自己的理解和心得,欢迎指正. 一.背景介绍 Kafka connect是Confluent公司(当时开发出Apache K 阅读全文
posted @ 2017-01-08 21:24 Syn良子 阅读(25394) 评论(5) 推荐(0)
kafka性能参数和压力测试揭秘
摘要：6台物理机，其中三台部署Broker，三台专门用来launch request。 每台物理机：24 Processors，189G Memory，2G 单机带宽。 执行本次测试时为了能够覆盖到到一些“非常规”的用法，我把Broker的HeapSize设置到了30G。 6台物理机，其中三台部署Brok 阅读全文
posted @ 2016-12-27 20:50 Syn良子 阅读(4363) 评论(0) 推荐(0)
《Kafka Stream》调研：一种轻量级流计算模式
摘要：什么是流计算？流是计算的一个连续计算类型 Single：例如HTTP，发送一个Request请求、返回一个Response Batch：将一组作业提交给计算机，返回一组，优势是减少IO等待时间 Stream：Batch异步过程，任务和任务之间没有明显的边界 流计算一般有哪些方式？ 如果挂了，数据都被 阅读全文
posted @ 2016-12-19 14:18 Syn良子 阅读(11340) 评论(0) 推荐(1)
Kafka0.10的新特性一览
摘要：Streams 机架感知 Message中加入Timestamp SASL增强 Kafka Connect Rest API Kafka Consumer Max Record 协议版本改进(Protocol Version Improvements) Kafka brokers现在支持返回所有支持 阅读全文
posted @ 2016-12-16 10:51 Syn良子 阅读(1938) 评论(0) 推荐(0)
Gobblin采集kafka数据
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程，话不多说，进入正题 一.Gobblin环境变量准备 需要配置好Gobblin0.7.0工作时对应的环境变量，可以去Gobblin的bin目 阅读全文
posted @ 2016-12-01 18:38 Syn良子 阅读(7584) 评论(27) 推荐(0)
Kafka到Hdfs的数据Pipeline整理
摘要：作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 Confluent的Kafka Connect旨在通过标准化如何将数据移入和移出Kafka来简化构建大规模实时数据管道的过 阅读全文
posted @ 2016-11-18 13:01 Syn良子 阅读(12240) 评论(5) 推荐(2)