摘要：
前言 环境： JDK 1.8+Flink 1.6+Hadoop 2.7.3 文中若有表述不正确，欢迎大伙留言指出，谢谢！ 1、现象 使用yarn-session在yarn上启动flink集群并提交任务后，在Flink Web UI 上发现任务的state个数每十分钟左右会从0到10左右后又重复从0开 阅读全文
摘要：
前言 本文主要译自Flink Forward 2017的柏林站中Robert Metzger的有关集群规划的How to size your flink cluster一文。该文中主要是考虑网络资源，博主结合自己的使用经验对文中省略的做了一定补充，同时也非常欢迎大伙留言补充。 本文非直译，原文链接如 阅读全文
摘要：
前言 本文是结合Flink官网，个人理解所得，若是有误欢迎留言指出，谢谢！文中图皆来自官网（链接[1]）。 本文将随着下面这个问题展开，针对该问题更为生动的解释可以参见金竹老师的分享（链接[2]）。 SQL适合流计算场景吗？ 对于流计算，每一条数据的到来都会触发一次查询产生一个结果，并发射出去。我们 阅读全文
摘要：
前言 在Flink原理——容错机制一文中，已对checkpoint的机制有了较为基础的介绍，本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程，只是尽量弄清楚整体的逻辑，没有弄清楚其实现细节，还是有遗憾的，后期还是努力去分析实现细节。文中若是有误，欢 阅读全文
摘要：
1、前言 本文是基于Flink官网上Asynchronous I/O的介绍结合自己的理解写成的，若有不正确的欢迎大伙留言交流，谢谢！ 2、Asynchronous I/O简介 将Flink用于流计算时，若涉及到和外部系统进行交互，如利用Flink从数据库中读取数据，这种需要获取I/O的场景时，我们需 阅读全文
摘要：
一、前言 个人感觉学习Flink其实最不应该错过的博文是Flink社区的博文系列，里面的文章是不会让人失望的。强烈安利：https://ververica.cn/developers-resources/。 本文是自己第一次尝试写源码阅读的文章，会努力将原理和源码实现流程结合起来。文中有几个点目前也 阅读全文
摘要：
1、现象：有一个节点的NodeManager启动不了。 后台报错日志如下： 2、container-executor的权限如图所示： 3、问题排查过程 yarn后台运行的用户是mr，但是其不在users组中，导致没有权限报错。 解决方法：将mr加到users用户组中即可，为了减小影响使用root用户 阅读全文
摘要：
1、场景 在阅读Flink 1.9源码时，个别类如YarnClientImpl.java只能查看.class文件，想查看对应的.java source文件，点击Download source时，报Sources not found for: org.apache.flink:flink-shaded 阅读全文
摘要：
1、前言 本文是在《如何计算实时热门商品》[1]一文上做的扩展，仅在功能上验证了利用Flink消费Kafka数据，把处理后的数据写入到HBase的流程，其具体性能未做调优。此外，文中并未就Flink处理逻辑做过多的分析，只因引文（若不特殊说明，文中引文皆指《如何计算实时热门商品》一文）中写的很详细了 阅读全文
摘要：
前言 在日常的开发中，离不开单元测试，而且在学习Java时，特别是在测试不同API使用时要不停的写main方法，显得很繁琐，所以这里介绍使用Junit学习Java的方法。此外，我使用log4j将结果输出（在项目中不这么用，这里仅是使用）。为了方便大伙了解，我简单总结了一下简单测试代码并传到GitHu 阅读全文
摘要：
在新装IDEA导入Flink源码时出现一些问题，在此记录，希望能帮到大伙！ 一、环境 IDEA2019.1.2（破解版）；OpenJDK 1.8.0_40；Maven 3.5.3/3.2.5/3.6.2 二、报错现象及解决方法 导入源码后，发现无法自动下载源码依赖，报错如下： java.lang.R 阅读全文
摘要：
本文是博主阅读Flink官方文档以及《Flink基础教程》后结合自己理解所写，若有表达有误的地方欢迎大伙留言指出。 1. 前言 流式计算分为有状态和无状态两种情况，所谓状态就是计算过程中的中间值。对于无状态计算，会独立观察每个独立事件，并根据最后一个事件输出结果。什么意思？大白话举例：对于一个流式系 阅读全文
摘要：
本文是博主阅读官网文档、博客及书籍后自己所思所得，若是存在有误的地方，欢迎留言分享，谢谢！ 一、任务调度 Flink是通过task slot的来定义执行资源的，为优化资源的利用率，Flink通过slot共享，可以将多个连续的task任务组成的一个pipeline放在一个slot中运行。当任务并行度> 阅读全文
摘要：
本文是参考官方文档结合自己的理解写的，所引用文献均已指明来源，若侵权请留言告知，我会立马删除。此外，若是表达欠妥的地方，欢迎大伙留言指出。 前言 在上一篇博客Flink原理（二） ——资源一文中已简要说了在Flink集群中资源的分配情况，这篇博客尝试从定义算子之后，任务是如何分配的，以及任务是如何使 阅读全文
摘要：
前言 本文主要是想简要说明Flink在集群部署、任务提交、任务运行过程中资源情况，若表述有误欢迎大伙留言分享，非常感谢！ 一、集群部署阶段 集群部署这里指的是Flink standalone模式，因为在Yarn模式（包括session、single job模式也成Per-job模式）是可以仅通过Fl 阅读全文