摘要:
一、基础信息 spark版本:spark-3.1.3-bin-hadoop3.2 hadoop版本:hadoop-3.2.1 scala版本:scala-2.11.12 建议3.12版本 下载地址:https://spark.apache.org/downloads.html 二、配置修改 1、复制 阅读全文
摘要:
一、网上总结的报错 1、coalesce报错 FAILED: SemanticException [Error 10014]: Line 197:4 Wrong arguments ''10'': Unsafe compares BETWEEN different types are disable 阅读全文
摘要:
一、常用优化 1、每个查询最大使用内存1T,目前配置 3T query.max-memory=1T 2、每个工作节点最多加载10GB数据,目前 60GB query.max-memory-per-node=60GB 3、每个查询最多运行30分钟,目前没设置 query.max-run-time=30 阅读全文
摘要:
一、搜索 command+o 项目内搜索文件 command+shift+f 全局关键词搜索 阅读全文
摘要:
一、分类 1.1 事件时间:EventTime 事件发⽣的时间 事件时间是每个单独事件在其产⽣进程上发⽣的时间,这个时间通常在处理的消息体中,如创建时间 在事件时间中,时间值 取决于数据产⽣记录的时间,⽽不是任何Flink机器上的 1.2 进⼊时间:IngestionTime 事件到进⼊Flink 阅读全文
摘要:
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
摘要:
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
摘要:
一、依赖 二、代码 package net.xdclass.class11; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.Aggregate 阅读全文
摘要:
一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念:窗口来多少条计算一次,存在滚动和滑动两种情况 package net.xdclass.class10; import org.apache.flink.api.common.Ru 阅读全文
摘要:
一、依赖 https://www.cnblogs.com/robots2/p/16048648.html 二、代码 概念:滑动窗口有两个参数,窗口大小20和滑动大小6,6秒滑一次,统计近20秒数据 前言:滚动窗口一个时间传参,滑动窗口两个时间传参 window算子用做有keyBy情况,没有使用key 阅读全文