sunny123456

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  1793 随笔 :: 22 文章 :: 24 评论 :: 225万 阅读
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

02 2024 档案

摘要:Flink基础入门 模式概念(含案例 linux部署) 一、flink简介flink引入大数据技术框架发展阶段总共有四代,mr-->DAG框架(tez) >Spark流批处理框架,内存计算(伪实时)-->flink流批处理,内存计算(真正的实时计算)flink vs spark什么是flinkfli 阅读全文
posted @ 2024-02-27 10:02 sunny123456 阅读(28) 评论(0) 推荐(0) 编辑

摘要:【Flink从入门到精通 02】DataStream API 在之前的文章中,我们介绍了Flink的安装部署、基础概念,今天我们来一起学习Flink的核心之一DataStream API。 01 分布式流处理基础 上图中,我们将整个代码分为了三个部分,即分布式流处理的基本模型: SourceTran 阅读全文
posted @ 2024-02-26 17:23 sunny123456 阅读(92) 评论(0) 推荐(0) 编辑

摘要:DataStream API(三) 目录 5.3.4 物理分区(Physical Partitioning) 5.4 输出算子(Sink) 5.4.1 连接到外部系统 5.4.2 输出到文件 5.4.3 输出到 Kafka 5.4.4 输出到 MySQL(JDBC) 5.4.5 自定义 Sink 输 阅读全文
posted @ 2024-02-26 09:52 sunny123456 阅读(43) 评论(0) 推荐(0) 编辑

摘要:JavaFlink系列之一:Maven程序搭建及Java入门案例多种写法 一、Flink项目依赖配置 <?xml version="1.0" encoding="UTF-8"?><project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文
posted @ 2024-02-26 09:07 sunny123456 阅读(227) 评论(0) 推荐(0) 编辑

摘要:【mysql系列】mysql安装和卸载详细教程 mysql-8.0.31-winx64 🌴mysql安装和卸载详细教程 🐳一、安装🧊1.下载🧊2. 安装🪟1. 编辑`my.ini`文件🪟2. 初始化数据库🪟3. 安装数据库🪟4. 启动`mysql`服务🪟5. 登录`mysql`数据 阅读全文
posted @ 2024-02-23 11:02 sunny123456 阅读(275) 评论(0) 推荐(0) 编辑

摘要:mysql 怎么启动服务 <p>mysql是一个免费的开源数据库管理系统,广泛应用于web应用程序开发,是linux/unix系统中最常用的数据库之一,这篇文章将介绍如何启动mysql服务。</p> 一、Linux系统下启动MySQL服务 使用默认命令 使用默认命令启动MySQL服务十分简单,只需使 阅读全文
posted @ 2024-02-23 09:55 sunny123456 阅读(442) 评论(0) 推荐(0) 编辑

摘要:flink实时读取kafka数据到mysql flink 读取kafka Flink提供了Kafka连接器,用于从或向Kafka读写数据。本文总结Flink与Kafka集成中的问题,并对一些疑点进行总结和梳理。问题一: 读Kafka的方式登录后复制 ## 读取一个Topic FlinkKafkaCo 阅读全文
posted @ 2024-02-22 19:29 sunny123456 阅读(175) 评论(0) 推荐(0) 编辑

摘要:flink之核心抽象--Window窗口及窗口操作全面详解 标签:flink 窗口 String val -- 元素 Long window 1. Windows 1.1. 基本概念 窗口是处理无限流的核心。窗口将流划分为固定大小的“桶”,方便程序员在上面应用各种计算。 Window操作是流式数据处 阅读全文
posted @ 2024-02-22 15:53 sunny123456 阅读(621) 评论(0) 推荐(0) 编辑

摘要:flink 窗口函数 中文解释和案例 文章目录 窗口函数时间语义处理时间事件时间摄入时间 水位线有序流中的水位线乱序流中的水位线生成水位线生成水位线原则水位线生成策略flink内置水位线生成器有序流乱序流 自定义水位线周期性水位线生成器断点式水位线生成器 水位线的传递 窗口窗口的分类按照驱动类型分类 阅读全文
posted @ 2024-02-22 11:21 sunny123456 阅读(113) 评论(0) 推荐(0) 编辑

摘要:idea的Java项目打成jar包并服务器部署运行 文章目录 一、idea对Java项目打jar包二、上传jar包到服务器运行 一、idea对Java项目打jar包 1.File—>Project Structure >Artifacts 2.点击+号选择JAR,再选择第二个 3.出现这个框,第一个 阅读全文
posted @ 2024-02-22 08:42 sunny123456 阅读(937) 评论(0) 推荐(0) 编辑

摘要:Flink教程(6)-Flink Window 详解 文章目录 Flink Windowwindow原理与分类基于时间的Time Window基于计数的Count Window window api1)滚动时间窗口2)滑动时间窗口3)会话窗口4)滚动计数窗口5)滑动计数窗口6)全量窗口7)简写方式8 阅读全文
posted @ 2024-02-21 19:26 sunny123456 阅读(146) 评论(0) 推荐(0) 编辑

摘要:一文搞懂Flink Window机制和 Function 和 Process组合处理事件 Windows是处理无线数据流的核心,它将流分割成有限大小的桶(buckets),并在其上执行各种计算。 Windows是处理无线数据流的核心,它将流分割成有限大小的桶(buckets),并在其上执行各种计算。 阅读全文
posted @ 2024-02-20 19:42 sunny123456 阅读(589) 评论(0) 推荐(0) 编辑

摘要:Flink 增量窗口聚合函数 定义了窗口分配器,只是知道了数据属于哪个窗口,可以将数据收集起来了;至于收集起来到底要做什么,其实还完全没有头绪。所以在窗口分配器之后,必须再接上一个定义窗口如何进行计算的操作,这就是所谓的“窗口函数”(window functions)。经窗口分配器处理之后,数据可以 阅读全文
posted @ 2024-02-20 16:04 sunny123456 阅读(1162) 评论(0) 推荐(0) 编辑

摘要:【FLINK学习笔记】 FLINK WINDOW(窗口)详解 一、Window 分类 Global Window 和 和 Keyed Window 在运用窗口计算时,Flink根据上游数据集是否为KeyedStream类型,对应的Windows 也会有所不同。 Keyed Window:上游数据集如 阅读全文
posted @ 2024-02-19 19:59 sunny123456 阅读(212) 评论(0) 推荐(0) 编辑

摘要:java的getResource方法 总结一下 在Java中获取资源的时候,经常用到getResource和getResourceAsStream,本文总结一下这两种获取资源文件的路径差异 1. 前言 在Java中获取资源的时候,经常用到getResource和getResourceAsStream 阅读全文
posted @ 2024-02-19 19:38 sunny123456 阅读(1071) 评论(0) 推荐(0) 编辑

摘要:Flink 使用之 TypeInformation 由于泛型类型在运行时会被JVM擦除,所以要指定类型 Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录 背景 本篇从近期遇到的Stream Java API 问题,引出TypeInformation的使用。 Exception in 阅读全文
posted @ 2024-02-19 19:28 sunny123456 阅读(260) 评论(0) 推荐(0) 编辑

摘要:Type information 反射信息 Type指一个对象的种类,某种自定义的class,某个interface或string等,都是type的一种。 (本文参考了 Thinking in java中的type information这章) 什么是Type information Type指一个 阅读全文
posted @ 2024-02-19 19:21 sunny123456 阅读(28) 评论(0) 推荐(0) 编辑

摘要:flink的分流器-sideoutput Flink 有两种常见的 State类型,分别是:Keyed State (键控状态)和Operator State(算子状态) 为了说明侧输出(sideouptut)的作用,浪尖举个例子,比如现在有一篇文章吧,单词长度不一,但是我们想对单词长度小于5的单词 阅读全文
posted @ 2024-02-19 19:02 sunny123456 阅读(67) 评论(0) 推荐(0) 编辑

摘要:Flink详解系列之六--窗口机制 窗口是flink处理无限流的核心,窗口将流拆分为有限大小的“桶”,我们可以在这些桶上进行计算。 1、Keyed vs Non-Keyed Windows 根据上游数据是否为Keyed Stream类型(是否将数据按照某个指定的Key进行分区),将窗口划分为Keye 阅读全文
posted @ 2024-02-19 16:17 sunny123456 阅读(85) 评论(0) 推荐(0) 编辑

摘要:一、概述 之前的转化算子是无法访问事件的时间戳信息和水位线watermark,但是,在某些情况下,显得很重要。Flink 提供了 DataStream API 的Low- Level转化算子。比如说可以访问事件时间戳、watermark、以及注册定时器,还可以输出一些特定的事件,比如超时事件等。Pr 阅读全文
posted @ 2024-02-19 16:11 sunny123456 阅读(58) 评论(0) 推荐(0) 编辑

摘要:Flink入门之Flink程序开发步骤(java语言) 文章目录 (0)开发程序所需依赖(1)获取执行环境(2)加载/创建数据源(3)数据转换处理(4)处理后数据放置/输出(5)执行计算程序(6)完整示例 注:本篇章的flink学习均是基于java开发语言 我们如果要使用flink进行计算开发,一个 阅读全文
posted @ 2024-02-19 14:39 sunny123456 阅读(1301) 评论(0) 推荐(0) 编辑

摘要:Java注解篇之@SuppressWarnings注解详解 @SuppressWarnings作用:用于抑制编译器产生警告信息。它的注解目标为类、字段、函数、函数入参、构造函数和函数的局部变量,但是建议注解声明在最接近警告发生的位置。去感叹号?我们经常遇到 代码编译通过且可以运行,但每行前面的“感叹 阅读全文
posted @ 2024-02-19 09:08 sunny123456 阅读(2524) 评论(0) 推荐(0) 编辑

摘要:【Flink】复函数的使用,时间服务和定时器,值、列表、字典状态变量 文章目录 一 Flink DataStream API1 复函数2 自定义输出到下游设备 二 处理函数1 KeyedProcessFunction的使用(1)时间服务和定时器 2状态变量(1)值状态变量a 需求一b 需求二 (2) 阅读全文
posted @ 2024-02-18 14:53 sunny123456 阅读(94) 评论(0) 推荐(0) 编辑

摘要:sublimetext 使用 关键词: 应该是编码过程中出现了系统问题,所以导致无法正常运行,才会显示“unregistered”(未登记、未注册)。sublime text本身是不支持中文编码的,所以要解决“unregistered”的问题,需要通过安装插件来解决。具体步骤是:打开这个文件,并确认 阅读全文
posted @ 2024-02-13 08:50 sunny123456 阅读(508) 评论(0) 推荐(0) 编辑

摘要:Sublime Text 3 全程详细图文教程(转载) 今天被群里大佬安利了一款文本编辑软件,找了一下相关教程。 一、 前言 使用Sublime Text 也有几个年头了,版本也从2升级到3了,但犹如寒天饮冰水,冷暖尽自知。最初也是不知道从何下手,满世界地查找资料,但能查阅到的资料,苦于它们的零碎、 阅读全文
posted @ 2024-02-13 08:37 sunny123456 阅读(889) 评论(0) 推荐(0) 编辑

摘要:编程新手必学:Java运算符详解 编程,这种强大的艺术形式,给我们带来了无穷的可能性。就像数学中的加减乘除,程序设计中也有一种类似的工具:运算符。作为一种编程语言,Java提供了一系列的运算符来执行各种基础和复杂的操作。在本文中,我将尝试解释Java中的各种运算符,并提供一些代码示例来说明它们的用法 阅读全文
posted @ 2024-02-07 17:03 sunny123456 阅读(39) 评论(0) 推荐(0) 编辑

摘要:【Flink】使用CoProcessFunction完成实时对账、基于时间的双流join 文章目录 零 处理函数回顾一 CoProcessFunction的使用1 CoProcessFunction使用2 实时对账(1)使用离线数据源(批处理)(2)使用高自定义数据源(流处理) 二 基于时间的双流 阅读全文
posted @ 2024-02-06 19:42 sunny123456 阅读(212) 评论(0) 推荐(0) 编辑

摘要:Java中的 << , >> , 和 >>>所代表的含义 标题 Java中的 << , >> , 和 >>>所代表的含义 1.<<表示左移运算符 例如8<<1,表示将8向左移1位,低位补0,结果为16。 例如8<<2,表示将8向左移2位,低位补0,结果为32。 左移一位相当于乘以二 二进制演算: 8 阅读全文
posted @ 2024-02-06 09:20 sunny123456 阅读(2128) 评论(1) 推荐(0) 编辑

摘要:Flink之状态编程 值状态(ValueState)列表状态(ListState)映射状态(MapState)归约状态(ReducingState)聚合状态(AggregatingState)广播状态(BroadcastState) Flink之状态编程 一、按键分区状态(Keyed State)1 阅读全文
posted @ 2024-02-01 08:42 sunny123456 阅读(202) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示