上一页 1 2 3 4 5 6 ··· 8 下一页
摘要: 主键表 优势:支撑实时数据更新的同时,也能保证高效的复杂即席查询性能 主键表中的主键具有唯一非空约束,用于唯一标识数据行,如果新数据的主键值与表中原数据的主键值相同,则存在唯一约束冲突,此时新数据会替代原数据 应用场景 实时对接事务型数据至StarRocks。事务型数据库中,除了插入数据外,一般还会 阅读全文
posted @ 2024-10-08 16:18 一年都在冬眠 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 概念 StarRocks是新一代高性能分析型数据仓库,支持实时、多维、高并发的数据分析; StarRocks支持从各种数据源进行实时和批量数据推流,它还允许您直接分析存储在数据湖中的数据,无需数据迁移 StarRocks非常适合对新数据进行实时分析。可以高速摄取数据,并实时更新和删除数据 场景 St 阅读全文
posted @ 2024-10-08 14:12 一年都在冬眠 阅读(417) 评论(0) 推荐(0) 编辑
摘要: Flink中的状态 状态:在处理流数据时,算子(Operators)所维护的随着时间变化而持续或在特定时间点被查询的数据 无状态的算子任务:只需要观察每个独立事件,根据当前输入的数据直接转换输出结果 有状态的算子任务:除当前数据外,还需要一些其他数据来得到计算结果 状态的分类 算子状态(Operat 阅读全文
posted @ 2024-09-29 16:38 一年都在冬眠 阅读(39) 评论(0) 推荐(0) 编辑
摘要: CEP 概念 定义 复合事件处理(Complex Event Processing,CEP)是一种基于动态环境中事件流的分析技术,事件在这里通常是有意义的状态变化,通过分析事件间的关系,利用过滤、关联、聚合等技术,根据事件间的时序关系和聚合关系制定检测规则,持续地从事件流中查询出符合要求的事件序列, 阅读全文
posted @ 2024-09-29 15:54 一年都在冬眠 阅读(45) 评论(0) 推荐(0) 编辑
摘要: Table API和Flink SQL整体介绍 概念 Table API是一套内嵌在Java和Scala语言中的查询API,它允许我们以非常直观的方式,组合来自一些关系运算符的查询,比如select、filter和join Flink SQL,就是直接可以在代码中写SQL,来实现一些查询(Query 阅读全文
posted @ 2024-09-29 14:41 一年都在冬眠 阅读(84) 评论(0) 推荐(0) 编辑
摘要: DataStream流处理算子 Source算子(数据读入) Flink可以使用StreamExecutionEnvironment.addSource(source) 来为我们的程序添加数据来源 基于本地集合的source DataStream<String> words = env.fromEl 阅读全文
posted @ 2024-09-27 16:57 一年都在冬眠 阅读(32) 评论(0) 推荐(0) 编辑
摘要: YARN模式 概念 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式 Session-cluster模式 Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变,如果资源满 阅读全文
posted @ 2024-09-27 14:44 一年都在冬眠 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 开发环境编写WordCount pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLS 阅读全文
posted @ 2024-09-27 10:17 一年都在冬眠 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 集群安装 Standalone模式 安装 解压缩 [user@hadoop102 software]$ tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module/ 修改flink/conf/flink-conf.yaml文件 jobmanage 阅读全文
posted @ 2024-09-26 13:50 一年都在冬眠 阅读(86) 评论(0) 推荐(0) 编辑
摘要: Flink概述 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算 Flink特点 事件驱动(Event-driven) 事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作 比较典型的就是以kafka 阅读全文
posted @ 2024-09-25 14:49 一年都在冬眠 阅读(16) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 8 下一页
点击右上角即可分享
微信分享提示