摘要:
参考博客: https://vkingnew.blog.csdn.net/article/details/106988324 1、MergeTree:它拥有主键,但是它的主键却没有唯一键的约束,即可以写入重复数据 1.1 场景 MergeTree用于存储全量的明细数据,对外提供实时查询 1.2 特性 阅读全文
摘要:
注意 1、python脚本一定要注意空格,否则这种报错无法做出判断 2、脚本魔法 请根据自己python的路径填写 1、脚本代码 #! /root/anaconda3/bin/python import pymysql import datetime #参数值插入时间 #连接数据库 db = pym 阅读全文
摘要:
知识点(OLAP特征): OLAP场景的关键特征 : 绝大多数是读请求 数据以相当大的批次(> 1000行)更新,而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取,从数据库中提取相当多的行,但只提取列的一小部分。 宽表,即每个表包含着大量的列 查询相对较少(通常每台服务器 阅读全文
摘要:
环境:Flink0.10.1 scala2.11 如果报一下的错,请把对应的pom.xml文件进行修改。具体的可以看下下面的pom.xml文件的配置 Exception in thread "main" org.apache.flink.table.api.TableException: findA 阅读全文
摘要:
知识点 1、在大多数情况下,用户定义的函数必须先注册,然后才能在查询中使用。不需要专门为 Scala 的 Table API 注册函数。 2、函数通过调用 registerFunction()方法在 TableEnvironment 中注册。当用户定义的函数 被注册时,它被插入到 TableEnvi 阅读全文
摘要:
1、时间特性 基于时间的操作(比如 Table API 和 SQL 中窗口操作),需要定义相关的时间语义和时间 数据来源的信息。 所以,Table 可以提供一个逻辑上的时间字段,用于在表处理程序中,指示时间和访问相应的时间戳。 时间属性,可以是每个表 schema 的一部分。一旦定义了时间属性,它就 阅读全文
摘要:
知识点 表的输出,是通过将数据写入 TableSink 来实现的。TableSink 是一个通用接口,可以 支持不同的文件格式、存储数据库和消息队列。 具体实现,输出表最直接的方法,就是通过 Table.insertInto() 方法将一个 Table 写入 注册过的 TableSink 中。同时表 阅读全文
摘要:
参考博客:https://www.cnblogs.com/bolingcavalry/p/13993021.html#4800352 注: 对应的sql_lib依赖jar,在参考博客的留言下面有 1、运行f'link sql 1、首先进入flink目录,启动flink:bin/start-clust 阅读全文
摘要:
知识点 状态一致性分类: https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/guarantees.html • AT-MOST-ONCE(最多一次):当任务故障时,最简单的做法是什么都不干,既不恢复 阅读全文
摘要:
知识点 FlinkTable步骤: // 1、创建表的执行环境 val tableEnv = ... // 2、创建一张表,用于读取数据 tableEnv.connect(...).createTemporaryTable("inputTable") // 3、1通过 Table API 查询算子, 阅读全文