随笔分类 - Flink

大数据实时处理框架

摘要：ElasticSearch package test; import bean.Stu; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.streaming.api.datast 阅读全文

posted @ 2022-07-01 20:54 CHANG_09 阅读(104) 评论(0) 推荐(0) 编辑

练习： Flink sink to file

摘要：package test; import bean.Stu; import org.apache.flink.api.common.serialization.SimpleStringEncoder; import org.apache.flink.core.fs.Path; import org. 阅读全文

posted @ 2022-07-01 18:48 CHANG_09 阅读(85) 评论(0) 推荐(0) 编辑

练习： Flink 自定义 sink to hbase

摘要：hbase 1 package sink; 2 3 import org.apache.flink.configuration.Configuration; 4 import org.apache.flink.streaming.api.functions.sink.RichSinkFunction 阅读全文

posted @ 2022-07-01 18:28 CHANG_09 阅读(250) 评论(0) 推荐(0) 编辑

练习： Flink 自定义 Source & Sink to Redis

摘要：bean package bean; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; @Data @AllArgsConstructor @NoArgsConstructor 阅读全文

posted @ 2022-07-01 16:31 CHANG_09 阅读(138) 评论(0) 推荐(0) 编辑

大数据面试题V3.0 -- Flink面试题

摘要：Flink面试题（约4.7w字） Flink架构 Flink的窗口了解哪些，都有什么区别，有哪几种?如何定义? Flink窗口函数，时间语义相关的问题介绍下Flink的watermark(水位线)，watermark需要实现哪个实现类，在何处定义?有什么作用? Flink的窗口(实现)机制说下F 阅读全文

posted @ 2022-06-28 15:05 CHANG_09 阅读(250) 评论(0) 推荐(0) 编辑

练习： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中

摘要：bean //实体类 mysql的一条记录 package bean; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; @Data @AllArgsConstructor @ 阅读全文

posted @ 2022-06-27 15:56 CHANG_09 阅读(1880) 评论(0) 推荐(0) 编辑

练习：Flink面试题

摘要：问题描述：某APP用户点击日志，列名分别为时间，用户ID，产品代号，点击的功能代号，邮箱，省市，耗时，参数详情。需使用flink批处理进行数据清洗及开窗统计，样例数据如下： data 说明：数据的列分隔符为逗号，详情参数为json 数据行中存在脏数据环境：机器可联网，笔试机器的桌面上有ide 阅读全文

posted @ 2022-06-16 16:59 CHANG_09 阅读(138) 评论(0) 推荐(0) 编辑

练习：Flink ProcessWindowFunction、AggregateFunction、KeyedProcessFunction

摘要：数据 MyData1.txt 5304529,像素不是很高，手机感觉用一段时间会卡,2,1 5304529,京东在线客服太垃圾,3,1 5304529,不知为何，网络卡还是咋滴儿，玩起来略卡像个二手机，不过看这店子又感觉不像，但愿是网卡,3,2 5304529,手机用了一个多月了，拍照马马虎虎，运行阅读全文

posted @ 2022-04-11 17:29 CHANG_09 阅读(219) 评论(0) 推荐(0) 编辑

练习 : 自定义sink mysql hbase

摘要：mysql 1 package sink; 2 3 //import com.util.Propss; 4 //import com.bean.Sku; 5 import org.apache.flink.configuration.Configuration; 6 import org.apach 阅读全文

posted @ 2022-04-08 21:29 CHANG_09 阅读(47) 评论(0) 推荐(0) 编辑

练习：Flink 字频统计

摘要：xiaoming,english,90xiaoming,math,80xiaohong,english,98xiaohong,math,82 test 1 import org.apache.flink.api.common.typeinfo.Types; 2 import org.apache.f 阅读全文

posted @ 2022-04-08 17:24 CHANG_09 阅读(39) 评论(0) 推荐(0) 编辑

练习 : Flink 批流一体

摘要：pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs 阅读全文

posted @ 2022-04-08 09:44 CHANG_09 阅读(70) 评论(0) 推荐(0) 编辑

练习：flink table

摘要：data.txt 521588,167760,3,5999.00,1,2021-06-18 00:11:23521590,167762,2,3999.00,1,2021-06-18 11:12:23521591,167774,1,7888.00,2,2021-07-19 10:10:26521592 阅读全文

posted @ 2022-03-28 16:19 CHANG_09 阅读(104) 评论(0) 推荐(0) 编辑

练习 : 用 utils 读存 kafak，flink sql 查询

摘要：bean 1 package bean; 2 3 import lombok.AllArgsConstructor; 4 import lombok.Data; 5 import lombok.NoArgsConstructor; 6 7 /** 8 * Package: bean 9 * Desc 阅读全文

posted @ 2022-03-14 16:29 CHANG_09 阅读(49) 评论(0) 推荐(0) 编辑

练习： Flink TimeWindow 滑动滚动窗口增量全量统计

摘要：1 import org.apache.commons.collections.IteratorUtils; 2 import org.apache.flink.api.common.functions.AggregateFunction; 3 import org.apache.flink.api 阅读全文

posted @ 2022-03-04 22:04 CHANG_09 阅读(369) 评论(0) 推荐(0) 编辑

练习： Flink Sink 将数据保存到 HDFS MySQL

摘要：> bean.sensor 1 import lombok.AllArgsConstructor; 2 import lombok.Data; 3 import lombok.NoArgsConstructor; 4 5 @Data 6 @NoArgsConstructor 7 @AllArgsCo 阅读全文

posted @ 2022-03-04 21:48 CHANG_09 阅读(796) 评论(0) 推荐(0) 编辑

练习： Flink 水位线 Flink_Watermark_Test

摘要：1 import org.apache.flink.api.common.functions.MapFunction; 2 import org.apache.flink.streaming.api.TimeCharacteristic; 3 import org.apache.flink.stre 阅读全文

posted @ 2022-03-04 21:41 CHANG_09 阅读(53) 评论(0) 推荐(0) 编辑

练习： Flink 自定义Process_State 使用 OnTimer 连续3s大于70度传感器报警

摘要：1 package ontime; 2 3 import com.Sensor; 4 import org.apache.flink.api.common.state.ValueState; 5 import org.apache.flink.api.common.state.ValueStateD 阅读全文

posted @ 2022-03-04 21:26 CHANG_09 阅读(464) 评论(0) 推荐(0) 编辑

练习：Flink 自定义 process 和 source

摘要：1 package com; 2 import lombok.AllArgsConstructor; 3 import lombok.Data; 4 import lombok.NoArgsConstructor; 5 @Data 6 @AllArgsConstructor 7 @NoArgsCon 阅读全文

posted @ 2022-03-04 21:19 CHANG_09 阅读(72) 评论(0) 推荐(0) 编辑

Flink pom.xml

摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2022-03-04 21:00 CHANG_09 阅读(149) 评论(0) 推荐(0) 编辑

练习：采用 Flink TABLE API 或者 SQL查询所有的商品信息并打印到控制台。

摘要：1,玩具,玩具手枪,28888.2,122,玩具,遥控汽车,3222.0,53,玩具,洋娃娃,68.0,84,玩具,遥控飞机,3222.0,65,电器,风扇,55.8,106,电器,空调,99999.2,37,电器,平底锅,666.0,1 1 import lombok.AllArgsConstru 阅读全文

posted @ 2022-03-04 20:58 CHANG_09 阅读(654) 评论(6) 推荐(0) 编辑