Hackergin

摘要： Flink 作业运行时，最常见的问题就是积压问题， 当作业出现积压时，如何才能快速定位到积压原因，并针对性解决呢？ 积压的发现 通过我们会通过配置作业的积压报警来及时发现作用的积压情况，下面是一些常用的积压监控指标： freshness freshness 一般代表当前消费的消息体时间和当前时刻的差 阅读全文

摘要： Flink SQL的时间类型 在 Flink SQL 中，存在两种时间类型， 分别是 TIMESTAMP 和 TIMESTAMP_LTZ. 以下示例所用的字段: TIMESTAMP_FIELD, TIMESTAMP_LTZ_FIELD, BIGINT_FIELD, STRING_FIELD 分别代表 阅读全文

摘要： https://blog.noname.cc/2023/01/02/20230102/ cloudflare 账号注册 https://www.cloudflare-cn.com/products/tunnel/ 域名准备和配置 有两种方式: 在 cloudflare 自己购买域名, 比较贵 在其他 阅读全文

摘要： 问题描述 近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？ 问题排查 初步分析 mini-batch 已经在内部大规模使用， 目前没有发现一例 阅读全文

摘要： 乱序问题 在业务编写 FlinkSQL 时， 非常常见的就是乱序相关问题， 在出现问题时，非常难以排查，且无法稳定复现，这样无论是业务方，还是平台方，都处于一种非常尴尬的地步。 在实时 join 中， 如果是 Regular Join， 则使用的是 Hash Join 方式， 左表和右表根据 Joi 阅读全文

摘要： 在Flink SQL中， 元数据的管理分为三层: catalog-> database-> table， 我们知道Flink SQL是依托calcite框架来进行SQL执行树生产，校验，优化等等， 所以本文讲介绍FlinkSQL是如何来结合Calcite来进行元数据管理的. calcite开放的接口 阅读全文

摘要： 简单介绍 flink内部实现了一套metric数据收集库。　同时flink自身系统有一些固定的metric数据，　包括系统的一些指标，CPU,内存, IO　或者各个task运行的一些指标。具体包含那些指标可以查看官方文档: "flink metric" 同时我们也可以利用系统的metric库在自己的 阅读全文

摘要： 简单介绍 flink kafka connector用来连接kafka，用于消费kafka的数据， 并传入给下游的算子。 使用方式 首先来看下flink kafka connector的简单使用， 在 "官方文档" 中已经介绍了，传入相关的配置， 创建consumer对象， 并调用addsource 阅读全文

摘要： 虽然python是万能的，但是对于某些特殊功能，需要c语言才能完成。这样，就需要用python来调用c的代码了 具体流程： c编写相关函数 ，编译成库 然后在python中加载这些库，指定调用函数。 这些函数可以char ,int, float, 还能返回指针。 以下示例： 通过python调用c函 阅读全文

摘要： 本文使用两种方式来进行刷弹幕操作 1 模拟键盘输入，自动输入文字，然后点击回车。 2 操作剪切板，直接将剪切板的文字粘贴到输入框，然后回车。 模拟键盘输入 如果要输入“弹幕”这两个汉字，一般来说，我们需要分别输入d a n m u 这五个个字母之后，然后按下空格，然后回车。 在windows系统中， 阅读全文