随笔分类 - Flink
Flink
摘要：1: ScalarFunction： 这种类型的UDF是一对一的，输入一个值，返回一个值。 import org.apache.flink.table.functions.ScalarFunction; public class Hashstring extends ScalarFunction {
阅读全文
摘要：1: Flink 用的jar包 2：
阅读全文
摘要：用SQL client 能搞通redis 维表join，我在网上还没找到，我就试验，终于在sql client里运行成功了。 我用的 “大数据羊说”写的redis connector（https://github.com/liufeiSAP/flink-study.git），flink用的flink
阅读全文
摘要：背景：想用redis 维表join的功能，flink 本身没有redis connector, 找的第三方的实现（大数据羊说开源的），可以在IDE里成功运行，但是无法在SQL client里运行。 这里研究一下自定义connector. 首先了解一下java SPI: SPI全称Service Pr
阅读全文
摘要：1: Flink: flink-1.11.2-bin-scala_2.11.tgz 需要包含的jars: 2: kafka: （安裝流程参考：https://www.cnblogs.com/liufei1983/p/15706019.html） docker pull wurstmeister/ka
阅读全文
摘要：一： SQL client 是干什么用的？ Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。 Flink Table和S
阅读全文
摘要：1： https://github.com/liufeiSAP/flink-study.git 進入：flink-study\flink-examples-1.13 mvn clean package mvn exec:java -Dexec.mainClass="flink.examples.sq
阅读全文
摘要：Compose 简介 用于定义和运行多容器 Docker 应用程序的工具。使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。 Compose 使用的三个步骤： 使用 Dockerfile 定义应用程序的环境。 使用 docker-co
阅读全文
摘要：1: 下载 https://dlcdn.apache.org/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.12.tgz 2: JAVA， Maven, IDEA都安装好。 3：搞一个flink的官网的程序 创建一个maven 工程 $ mvn archet
阅读全文
摘要：1: docker pull flink 2: 创建文件 docker-compose.yml，内容如下： version: "2.1" services: jobmanager: image: ${FLINK_DOCKER_IMAGE_NAME:-flink} expose: - "6123" p
阅读全文
摘要：mvn exec:java -Dexec.mainClass="wikiedits.SocketWindowWordCount" -Dexec.args="port 9000"
阅读全文
摘要：windows 我试验：就能支持到flink 1.9的版本，后续的版本报错 1: 下载 flink-1.9.3-bin-scala_2.12.tgz Index of /dist/flink/flink-1.9.3 (apache.org) 2： 解压后运行 bin/ start-cluster.b
阅读全文
摘要：（不要参考下面的步骤了，flink 从 1.10开始，windows上跑不起来，各种问题。windows当前能支持的版本是1.9.3） 1: 下载 Flink https://www.apache.org/dyn/closer.lua/flink/flink-1.14.0/flink-1.14.0-
阅读全文
