随笔分类 - kafka
摘要：概览 Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用
阅读全文
摘要：SEP 20, 2022 Microservices architectures have now been widely adopted among developers, and with a great degree of success. However, drawbacks do exis
阅读全文
摘要：Kafka客户端包括producer及consumer API，通过在wireshark中查看所捕获的请求，能更好的理解从producer及consumer到broker的网络连接过程。对于producer端，为了发送数据，需要建立client到broker节点的TCP长连接，此长连接可用于更新me
阅读全文
摘要：tcpdump 是Linux平台上网络抓包、分析神器，wireshark可用在Windows上以可视化方式直接分析查看tcpdump抓取的数据文件。且wireshark内置支持很多常见应用协议解析，其中就包括kafka通信协议(Wireshark 2.4.0到2.6.0)。因此我们可以通过tcpdu
阅读全文
摘要：Many Web applications serve a significant amount of static content, which amounts to reading data off of a disk and writing the exact same data back t
阅读全文
摘要：MirrorMaker 2.0 is used to replicate data between two or more active Kafka clusters, within or across data centers. Data replication across clusters s
阅读全文
摘要：环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK
阅读全文
摘要：Apache Kafka KIP 介绍 Apache Kafka KIP 的全称是：Kafka Improvement Proposal，由此可见是社区为了优化Kafka而编写的提案。每条提案代表着Kafka的某个功能更新或者筹划未来的更新。 Apache Kafka KIP 有一个专门的页面，罗列
阅读全文
摘要：I am in a bit of a bind (pun intended). I have a ubuntu server running kafka & zookeeper. This server has both ipv4 and ipv6 protocols installed. In t
阅读全文
摘要：Morgan Stanley uses Apache Kafka® to publish market data to internal clients and to persist it for replay purposes. We started out using librdkafka’s
阅读全文
摘要：Apache Kafka® is one of the most popular event streaming systems. There are many ways to compare systems in this space, but one thing everyone cares a
阅读全文
摘要：前言概述 1. JavaSSL认证 SSL(Secure Socket Layer安全套接层)，及其继任者传输层安全(Transport ;ayer Security，TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。 2. Kerberos认证 +
阅读全文
摘要：本文主要阐述的是Kafka可靠性相关参数中的一个，即unclean.leader.election.enable。 随着Kafka版本的变更，有的参数消失，也有的参数被加入进来，而传承下来的参数一般都不太会修改既定的默认值，而unclean.leader.election.enable参数却是其中的
阅读全文
摘要：一、概述 1、Kafka的权限分类 1）、身份认证（Authentication）：对client 与服务器的连接进行身份认证，brokers和zookeeper之间的连接进行Authentication（producer 和 consumer）、其他 brokers、tools与 brokers
阅读全文
摘要：Kafka Broker: Java Version We recommend latest java 1.8 with G1 collector ( which is default in new version). If you are using Java 1.7 and G1 collect
阅读全文
摘要：Introduction The producer sends data directly to the broker that is the leader for the partition without any intervening routing tier. Optimization Ap
阅读全文
摘要：Introduction Knowing the performance of Kafka in general or on your hardware is an important part of capacity planning. Sizing can be hard to calculat
阅读全文
摘要：At LinkedIn, Kafka is the de-facto messaging platform that powers diverse sets of geographically-distributed applications at scale. Examples include o
阅读全文
摘要：Apache Kafka's popularity has grown tremendously over the past few years. In fact, LinkedIn's deployment recently surpassed 2 trillion messages per da
阅读全文
摘要：特性背景 消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。 支持事务消息有什么作用？消息事务是实现分布式事务的一种方案，可以确保分布式场景下的数据最终一致性。 例如最常用的转账场景，小王 转账到小明，实
阅读全文