09 2022 档案
摘要：问题场景 IDEA 测试类运行报错如下: 报错原因 因为项目需要打印的环境变量太长，超过了限制，需要缩短命令行来解决问题。 解决办法 首先找到项目里面的idea/workspace.xml文件，然后再找到 <component name="PropertiesComponent">{ "k
阅读全文
摘要：Flink处理机制的核心，就是“有状态的流式计算”。之前已经多次提到了“状态”（state），不论是简单聚合、窗口聚合，还是处理函数的应用，都会有状态的身影出现。有状态流处理，状态就如同事务处理时数据库中保存的信息一样，是用来辅助进行任务计算的数据。而在Flink这样的分布式系统中，不仅需要定义出状
阅读全文
摘要：在有些场景下，我们要处理的时间间隔可能并不是固定的。比如，在交易系统中，需要实时地对每一笔交易进行核验，保证两个账户转入转出数额相等，也就是所谓的“实时对账”。两次转账的数据可能写入了不同的日志流，它们的时间戳应该相差不大，所以我们可以考虑只统计一段时间内是否有出账入账的数据匹配。这时显然不应该用滚
阅读全文
摘要：对于两条流的合并，很多情况我们并不是简单地将所有数据放在一起，而是希望根据某个字段的值将它们联结起来，“配对”去做处理。例如用传感器监控火情时，我们需要将大量温度传感器和烟雾传感器采集到的信息，按照传感器ID分组、再将两条流中数据合并起来，如果同时超过设定阈值就要报警。我们发现，这种需求与关系型数据
阅读全文
摘要：问题描述 由于业务需要早上修改了一个固定需求加工逻辑的一个子查询，把修改后的 hivesql 封装成 shell 脚本后执行报错了，运行脚本最后一行提示如下： t1.service_type;: bad substitution 问题分析 经过查询了解到 bad substitution的字面意思，
阅读全文
摘要：CoProcessFunction 简介 对于连接流ConnectedStreams的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。我们把这种接口叫作“协同处理函数”（co-process function）
阅读全文
摘要：流的联合虽然简单，不过受限于数据类型不能改变，灵活性大打折扣，所以实际应用较少出现。除了联合（union），Flink还提供了另外一种方便的合流操作——连接（connect）。顾名思义，这种操作就是直接把两条流像接线一样对接起来 1、连接流（ConnectedStreams） 为了处理更加灵活，连接
阅读全文
摘要：应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍，对应的API也更加丰富。 Union 最简单的合流操作就是直接将多条流合在一起，这种操作称作为流的 “联合”(union) ,如下图所示，进行联合操作的流的数据类型需要保持一致，合并之后的流会
阅读全文
摘要：MaterializeMySQL 简介 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。 ClickHouse 2
阅读全文
摘要：1、前置环境准备 1.1、查看是否存在旧版本ClickHouse [hui@hadoop201 ~]$ rpm -qa |grep clickhouse 如果存在安装数据可以卸载 yum remove -y clickhouse-common-static yum remove -y clickho
阅读全文
