01 2022 档案
摘要：1: ScalarFunction： 这种类型的UDF是一对一的，输入一个值，返回一个值。 import org.apache.flink.table.functions.ScalarFunction; public class Hashstring extends ScalarFunction {
阅读全文
摘要：1: Flink 用的jar包 2：
阅读全文
摘要：用SQL client 能搞通redis 维表join，我在网上还没找到，我就试验，终于在sql client里运行成功了。 我用的 “大数据羊说”写的redis connector（https://github.com/liufeiSAP/flink-study.git），flink用的flink
阅读全文
摘要：背景：想用redis 维表join的功能，flink 本身没有redis connector, 找的第三方的实现（大数据羊说开源的），可以在IDE里成功运行，但是无法在SQL client里运行。 这里研究一下自定义connector. 首先了解一下java SPI: SPI全称Service Pr
阅读全文
摘要：1: 搜索镜像，docker search redis 2: docker pull redis:6.0.6， （不指定版本就表示用latest，我这里选的6.0.6） 3: 我本地下载了一个 redis.conf文件放在 C:/var/redis/conf/redis.conf， 然后挂载到容器
阅读全文
摘要：1: Flink: flink-1.11.2-bin-scala_2.11.tgz 需要包含的jars: 2: kafka: （安裝流程参考：https://www.cnblogs.com/liufei1983/p/15706019.html） docker pull wurstmeister/ka
阅读全文
摘要：一： SQL client 是干什么用的？ Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。 Flink Table和S
阅读全文
摘要：1： https://github.com/liufeiSAP/flink-study.git 進入：flink-study\flink-examples-1.13 mvn clean package mvn exec:java -Dexec.mainClass="flink.examples.sq
阅读全文
摘要：关于kafka的source部分请参考 上一篇： https://www.cnblogs.com/liufei1983/p/15801848.html 1： 首先下载两个和jdbc和mysql相关的jar包，注意版本，我的flink是1.13.1， 所以flink-connect-jdck_2.11
阅读全文
摘要：1： docker 安装kafka, 参考 ： https://www.cnblogs.com/liufei1983/p/15706019.html 注意的是： topic 变成cdn_events. kafka 生成如下的消息 : {"uuid":"fdafafa","client_ip":"fd
阅读全文
摘要：1: Windows 上用docker 安装zeppeeline: 首先安装flink,我的安装路径是： c:/flink-1.13.1， 然后用docker安装zeppeline，挂载flnk. docker run -p 8080:8080 -p 8083:8083 -p 8081:8081 -
阅读全文
摘要：find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 查出的这个文件名称中，2.13是Scala版本，2.8.1是Kafka版本。
阅读全文
