摘要：
序言直接使用zookeeper的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。 又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。 另外如果要使 阅读全文
摘要：
Kafka客户端包括producer及consumer API，通过在wireshark中查看所捕获的请求，能更好的理解从producer及consumer到broker的网络连接过程。对于producer端，为了发送数据，需要建立client到broker节点的TCP长连接，此长连接可用于更新me 阅读全文
摘要：
tcpdump 是Linux平台上网络抓包、分析神器，wireshark可用在Windows上以可视化方式直接分析查看tcpdump抓取的数据文件。且wireshark内置支持很多常见应用协议解析，其中就包括kafka通信协议(Wireshark 2.4.0到2.6.0)。因此我们可以通过tcpdu 阅读全文
摘要：
By now almost everyone has heard of so-called zero-copy functionality under Linux, but I often run into people who don't have a full understanding of 阅读全文
摘要：
Many Web applications serve a significant amount of static content, which amounts to reading data off of a disk and writing the exact same data back t 阅读全文
摘要：
什么是延时监控？延时监控，简单理解监控算子到算子的延迟时间。记录算子间或者源流入到算子时间，监控系统健康以及调节。 流式计算中处理延迟是一个非常重要的监控metric flink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askM 阅读全文
摘要：
一、背景 FLink Job端到端延迟是一个重要的指标，用来衡量FLink任务的整体性能和响应延迟（大部分流式应用，要求低延迟特性）。 通过流处理引擎竞品对比，我们发现大部分流计算引擎产品，都在告警监控页面，集成了全链路时延指标展示（直方图） 一些低延时的处理场景，例如用于登陆、用户下单规则检测，实 阅读全文
摘要：
简介： sftp是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。sftp 与 ftp有着几乎一样的语法和功能。SFTP 为 SSH的一部份，和vsftpd一点关系没有，是一种传输档案至 Blogger 伺服器的安全方式。本身 阅读全文
摘要：
MirrorMaker 2.0 is used to replicate data between two or more active Kafka clusters, within or across data centers. Data replication across clusters s 阅读全文
摘要：
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK 阅读全文
摘要：
Kafka Connect is a framework to stream data into and out of Apache Kafka®. The Confluent Platform ships with several built-in connectors that can be u 阅读全文
摘要：
IPv6背景介绍 目前被广泛使用的IPv4，它的最大问题是网络地址资源有限。IPv4仅有32二进制位，满打满算也仅有不到43亿个IP地址，已经完全不能满足目前需求。IPv6有128二进制位，地址数量非常庞大。目前主流操作系统早已支持IPv6，Google、Facebook和Yahoo等网站也早已支持 阅读全文
摘要：
How to identify the source of backpressure? 07 Jul 2021 Piotr Nowojski (@PiotrNowojski) What is backpressure? Why should I care about backpressure? Wh 阅读全文
摘要：
对于很多在公司维护开源项目的工程师来说，成为 Apache 项目的 committer 应该是很多人的一个小梦想，那么怎么才能成为一位 committer，对于一些比较成熟的项目，现在想成为 committer 是有一定的难度，但也不是不可能。 How can I become an Apache 阅读全文
摘要：
Apache Kafka KIP 介绍 Apache Kafka KIP 的全称是：Kafka Improvement Proposal，由此可见是社区为了优化Kafka而编写的提案。每条提案代表着Kafka的某个功能更新或者筹划未来的更新。 Apache Kafka KIP 有一个专门的页面，罗列 阅读全文
摘要：
As covered in a recent blog post, RocksDB is a state backend in Flink that allows a job to have state larger than the amount of available memory as th 阅读全文
摘要：
案例功能说明 通过socketTextStream读取9999端口数据，统计在一定时间内不同类型商品的销售总额度，如果持续销售额度为0，则执行定时器通知老板，是不是卖某种类型商品的员工偷懒了（只做功能演示，根据个人业务来使用，比如统计UV等操作）。 ProcessFunction是一个低阶的流处理操 阅读全文
摘要：
在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。 1.数据倾斜的原理和影响 1.1 原理 数据倾斜就是数据的分布严重不均，造成一部分数据很多，一部分数据很少的局面。 数据分布理论上都是倾斜的，符合“二八原理”：例如80%的财富集中在20%的人 阅读全文
摘要：
根据Heartbeat of TaskManager with id和The heartbeat of ResourceManager with id在源码中找出这样的代码 private class TaskManagerHeartbeatListener implements Heartbeat 阅读全文
摘要：
今早看到一台机器时间对不上，本以为系统时间与网络北京时间不同步，就在终端命令执行网络时间同步 [root@felixzh1 ~]# ntpdate time.windows.com 执行完之后，在执行终端命令，查看时间还是一样，其实EDT和CST是有区别的，时区不一样 EDT：指美国东部夏令时间，波 阅读全文
摘要：
一台机器经常收到丢包的报警，先看看最底层的有没有问题: # ethtool em2 | egrep 'Speed|Duplex' Speed: 1000Mb/s Duplex: Full # ethtool -S em2 | grep crc rx_crc_errors: 0 Speed, Dupl 阅读全文
摘要：
1. 修改配置文件，在ipv4地址基础上，增加ipv6地址的配置信息，ipv6地址设置为2010::25 [root@felixzh ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0ONBOOT=yesBOOTPROTO=st 阅读全文
摘要：
Question: I notice that one of my applications is trying to establish a connection over IPv6. But since our local network is not able to route IPv6 tr 阅读全文
摘要：
I am in a bit of a bind (pun intended). I have a ubuntu server running kafka & zookeeper. This server has both ipv4 and ipv6 protocols installed. In t 阅读全文
摘要：
Morgan Stanley uses Apache Kafka® to publish market data to internal clients and to persist it for replay purposes. We started out using librdkafka’s 阅读全文
摘要：
Apache Kafka® is one of the most popular event streaming systems. There are many ways to compare systems in this space, but one thing everyone cares a 阅读全文
摘要：
前言概述 1. JavaSSL认证 SSL(Secure Socket Layer安全套接层)，及其继任者传输层安全(Transport ;ayer Security，TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层对网络连接进行加密。 2. Kerberos认证 + 阅读全文
摘要：
1.下载postgresql安装包和依赖包 依赖包包括：gcc、zlib、readline等 yum install -y zlib-devel gcc readline readline-devel postgresql包下载地址： https://ftp.postgresql.org/pub/s 阅读全文
摘要：
postgresql在线安装很简单 进入官网： https://www.posthttps://www.postgresql.org/gresql.org/ 如文档所示，在线安装步骤与命令： sudo yum install -y https://download.postgresql.org/pu 阅读全文
摘要：
当update时连接dl.google.com超时，原因是当前ip无法ping到google（墙）。 解决方法： 1. 使用站长工具查询可用IP http://ping.chinaz.com/dl.google.com 2. sudo vim /etc/hosts 阅读全文