随笔分类 - Flink
Flink学习内容
发表于 2021-03-29 14:00阅读：1269评论：0推荐：0
摘要：java代码中引用了scala类，Maven打包编译时爆出找不到scala类的异常 原因：项目打包时，会先编译java代码，再编译scala代码。编译顺序有问题导致打包时找不到相应的scala 类 解决：添加一个Maven build的插件 <plugin> <groupId>net.alchim3
阅读全文 »
发表于 2021-03-26 13:15阅读：1423评论：0推荐：0
摘要：报错 2021-03-26 12:18:04,517 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - Shutting YarnSessionClusterEntrypoint down with application
阅读全文 »
发表于 2021-02-24 10:07阅读：166评论：0推荐：0
摘要：flink checkpoinnt 失败的原因见 https://blog.csdn.net/yunqiinsight/article/details/100918041 总结下就是: 作业出现了反压 解决方法: 增加并行度, 解决反压 增加checkpoint 超时时间 env.getCheckp
阅读全文 »
发表于 2021-01-28 20:56阅读：150评论：0推荐：0
摘要：Caused by: java.lang.RuntimeException: Line could not be encoded: [49, 56, 49, 49, 90, 77, 119, 66, 54, 48, 54, 71, 48, 53, 55, 50, 48, 49, 53, 48, 56
阅读全文 »
发表于 2021-01-26 10:30阅读：400评论：0推荐：0
摘要：Apache Flink 1.12.1发布 2021年1月19日宋欣彤 Apache Flink社区发布了Apache Flink 1.12系列的第一个错误修正版本。 此版本包含79个修复程序以及Flink 1.12.0的较小改进。下面的列表包括所有修复和改进的详细列表。 我们强烈建议所有用户升级到
阅读全文 »
发表于 2021-01-22 22:02阅读：280评论：0推荐：0
摘要：flink webUI 默认刷新时间是3秒钟, 可以修改 web.refresh-interval 单位毫秒 官网地址: https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#web-r
阅读全文 »
发表于 2021-01-22 21:52阅读：1110评论：0推荐：0
摘要：flink 支持的sql 方言 从Flink1.11.0开始，只要开启了Hive dialect配置，用户就可以使用HiveQL语法，这样我们就可以在Flink中使用Hive的语法使用一些DDL和DML操作。 Flink目前支持两种SQL方言(SQL dialects),分别为：default和hi
阅读全文 »
发表于 2021-01-22 21:42阅读：3546评论：0推荐：0
摘要：关键字: java.lang.IllegalArgumentException One or more fetchers have encountered exception SplitFetcher thread 0 received unexpected exception while poll
阅读全文 »
发表于 2020-12-29 19:12阅读：562评论：0推荐：0
摘要：4个角度轻松理解 Flink中的Watermark Watermark 理解了,但是想讲给别人听, 总是讲不清楚,这篇让我理解了 原文: 当我们第一次接触 Flink 时往往会对其中的 watermark 感到困惑。但实际上 watermark 并不复杂。在本文中我们将通过一个简单的例子来说明为什么
阅读全文 »
发表于 2020-12-29 19:01阅读：761评论：0推荐：0
摘要：Flink中Checkpoint和Savepoint 的 3 个不同点 Savepoint和Checkpoint分别是什么? Savepoint 是用来为整个流处理应用在某个“时间点”（point-in-time）进行快照生成的功能。该快照包含了数据源读取到的偏移量（offset），输入源的位置信息
阅读全文 »
发表于 2020-12-29 18:59阅读：690评论：0推荐：0
摘要：Flink在开发中的7点建议 1. 使用DataStreamAPI还是Table API/SQL? 在 DataStream API 和 Table API/SQL 的选择上，如果有强烈的需求控制状态和每条状态到来的处理，则需要使用 DataStream API； 如果是简单的数据提取和关系代数的运
阅读全文 »
发表于 2020-12-29 18:56阅读：1280评论：0推荐：0
摘要：Flink调优法则 一. 性能定位 口诀分析 1. 看背压 通常最后一个背压高的subTask的下游就是job的明显瓶颈之一 2. 看checkoint时长 checkpoint的时长在一定程度上可以影响job的整体吞吐 3. 查看关键指标 通过延迟与吞吐指标可以对任务的性能进行精准的判断 4. 资
阅读全文 »
发表于 2020-12-24 23:09阅读：866评论：0推荐：0
摘要：flink1.12连接hive修改并行度 在HiveTableSource 中. getDataStream 方法: int parallelism = 0; int splitNum = new HiveParallelismInference(tablePath, flinkConf) .inf
阅读全文 »
发表于 2020-12-22 23:27阅读：775评论：0推荐：0
摘要：Flink反压判断 随着版本的持续变更，截止 1.10.0 版本，Flink 提供的监控指标中与反压最为密切的如下表所示： 指标名称 用途 outPoolUsage 发送端缓冲池的使用率 inPoolUsage 接收端缓冲池的使用率 floatingBuffersUsage 处理节点缓冲池的使用率
阅读全文 »
发表于 2020-12-19 15:35阅读：6080评论：0推荐：1
摘要：Flink Checkpoint 参数详解 什么是 checkpoint 保存状态 Checkpoint 参数详解 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每
阅读全文 »
发表于 2020-12-19 09:53阅读：186评论：0推荐：0
摘要：flink问题1 报错： More buffers requested available than totally available 查看源码： /** * This method makes sure that at least a certain number of memory segme
阅读全文 »
发表于 2020-12-18 22:16阅读：3842评论：0推荐：0
摘要：Flink内存模型 此图是基于flink1.12版本. 一个taskmanager给了6g内存,可以有很清楚的看到各个部分占用的内存,还是实时变化的. 名词解释 组件 配置项 描述 Framework Heap Memory taskmanager.memory.framework.heap.siz
阅读全文 »
发表于 2020-12-17 17:35阅读：1871评论：0推荐：0
摘要：使用 分布式快照机制 和 两阶段提交 两阶段提交 在 Flink 中两阶段提交的实现方法被封装到了 TwoPhaseCommitSinkFunction 这个抽象类中，我们只需要实现其中的beginTransaction、preCommit、commit、abort 四个方法就可以实现“精确一次”的
阅读全文 »
发表于 2020-12-16 22:51阅读：947评论：0推荐：0
摘要：Flink相对于Spark的优点 容错 Flink 基于两阶段提交实现了精确的一次处理语义。 Spark Streaming 只能做到不丢数据，但是有重复。 反压 Flink 在数据传输过程中使用了分布式阻塞队列，一个阻塞队列中，当队列满了以后发送者会被天然阻塞住，这种阻塞功能相当于给这个阻塞队列提
阅读全文 »
发表于 2020-12-10 21:22阅读：336评论：0推荐：0
摘要：官宣 | Apache Flink 1.12.0 正式发布，流批一体真正统一运行！ 原创 Apache 博客 Flink 中文社区 翻译 | 付典 Review | 徐榜江、朱翥 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布！近 300 位贡献者参与了 Flin
阅读全文 »
