摘要:
一: SQL client 是干什么用的? Flink SQL是Flink系统内部最高级别的API,也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务,屏蔽了底层DataStream/DataSet API的复杂细节,降低了使用门槛。 Flink Table和S 阅读全文
摘要:
1: https://github.com/liufeiSAP/flink-study.git 進入:flink-study\flink-examples-1.13 mvn clean package mvn exec:java -Dexec.mainClass="flink.examples.sq 阅读全文
摘要:
/usr/local/etc 阅读全文
摘要:
关于kafka的source部分请参考 上一篇: https://www.cnblogs.com/liufei1983/p/15801848.html 1: 首先下载两个和jdbc和mysql相关的jar包,注意版本,我的flink是1.13.1, 所以flink-connect-jdck_2.11 阅读全文
摘要:
1: docker 安装kafka, 参考 : https://www.cnblogs.com/liufei1983/p/15706019.html 注意的是: topic 变成cdn_events. kafka 生成如下的消息 : {"uuid":"fdafafa","client_ip":"fd 阅读全文
摘要:
1: Windows 上用docker 安装zeppeeline: 首先安装flink,我的安装路径是: c:/flink-1.13.1, 然后用docker安装zeppeline,挂载flnk. docker run -p 8080:8080 -p 8083:8083 -p 8081:8081 - 阅读全文
摘要:
find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 查出的这个文件名称中,2.13是Scala版本,2.8.1是Kafka版本。 阅读全文
摘要:
Compose 简介 用于定义和运行多容器 Docker 应用程序的工具。使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。 Compose 使用的三个步骤: 使用 Dockerfile 定义应用程序的环境。 使用 docker-co 阅读全文
摘要:
1: 下载 https://dlcdn.apache.org/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.12.tgz 2: JAVA, Maven, IDEA都安装好。 3:搞一个flink的官网的程序 创建一个maven 工程 $ mvn archet 阅读全文
摘要:
1: docker pull wurstmeister/zookeeper 2: docker pull wurstmeister/kafka (下面3和4需要在以admin的role在CMD里运行,用git bash不好使) 3: docker run -d --name zookeeper -- 阅读全文