【Flink系列零】构建实时计算平台——FlinkSQL 作业菜鸟笔记

合集 - 助力长期平稳运行大数据作业(23)

1.【Flink系列二十】Flink Example AsyncIOExample long running 应用程序的应用2023-10-262.【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法2023-12-293.【Flink系列十九】Flink 作业Hadoop 依赖冲突解决NoSuchMethodError2023-09-184.HDFS_DELEGATION_TOKEN过期的问题解决汇总2023-09-125.【Flink系列十八】History Server 重新登场，如何实现Yarn日志集成2023-05-316.【Flink系列十七】Flink 最新yarn-application和yarn-per-job部署模式的Classpath传递分析2023-05-297.【Flink系列十六】PrometheusPushGatewayReporter 限流压力过大解决2022-08-038.【Flink系列十五】FLINK-24950 registerTemporaryFunction NullPointerException2022-04-229.【Flink系列十四】Flink JVM参数不生效的问题分析和解决2022-04-1110.【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标2022-03-2411.【Flink系列十二】使用OpenResty 在InfluxDB协议层拦截Flink指标2022-03-1312.【Flink系列十一】FlinkSQL Gateway以及支持Kerberos多租户的实现思路2022-01-2613.【Flink系列十】Flink作业提交过程的调试和诊断2021-11-0214.【Flink系列九】Flink 作业提交遇到的问题记录以及原理2021-11-0115.【Flink系列八】构建实时计算平台——动态加载Catalog中的UDF2021-05-10

16.【Flink系列零】构建实时计算平台——FlinkSQL 作业菜鸟笔记2021-05-10

17.【Flink系列七】构建实时计算平台——校验FlinkSQL2021-04-1918.【Flink系列六】构建实时计算平台——Flink 1.10+通过Kerberos连接HiveCatalog2021-03-1519.【Flink系列五】构建实时计算平台——flink-connector-hive连接HiveMetastore遇到问题2021-01-0820.【Flink系列四】构建实时计算平台——Flink SQLClient启动失败的问题笔记2021-01-0521.【Flink系列三】构建实时计算平台——特别篇，Influxdb Java客户端访问指标数据2020-10-2922.【Flink系列二】构建实时计算平台——特别篇，用InfluxDb收集Flink Metrics2020-10-2323.【Flink系列一】构建实时计算平台——Flink开启和恢复Checkpoint2020-10-23

收起

前言

因为最近的需求是做FlinkSQL平台，需要在实时计算平台上集成FlinkSQL功能，但目前刚刚有了研究成果，所以有了这篇笔记。

第一步：编写一个流

这里使用python编写的一个流，比Java简洁。

需要注意的是 pip install kakfa-python，不能是 pip install kafka。

这里生产的集群是SCRAM加密的，所以配置会多一些。

有一个单词本，words.txt就是一些英文单词，一行一个。

这个Producer每5秒产生一个记录，以JSON形式发布到流。

from kafka import KafkaProducer
import json
import random
import time
import sys

if __name__ == '__main__':
    producer = KafkaProducer(
        bootstrap_servers="kafka1211.slannka.com:9194",
        key_serializer=lambda v: str.encode if v is not None else None,
        value_serializer=lambda v: v.encode('utf-8') if v is not None else None,
        security_protocol="SASL_PLAINTEXT",
        sasl_mechanism="SCRAM-SHA-256",
        sasl_plain_username="slankkaCopyrightReserved",
        sasl_plain_password="passwordOfUsername",
        api_version=(2, 2, 1)
    )

    count = 0
    thefile = open("data/words.txt", "rb")
    while True:
        buffer = thefile.read(1024 * 8192)
        if not buffer:
            break
        count += buffer.count('\n'.encode())

    thefile.close()

    textfile = open("data/words.txt", "r")
    lines = textfile.readlines()  # 读取全部内容 ，并以列表方式返回

    while True:
        # initial values in each loop
        offset = 0
        word = None
        # get a random value represents a word
        randint = random.randint(0, count)
        print("total: ", count, ", randInt: ", randint)

        for line in lines:
            if offset == randint:
                word = line.strip()
                break
            offset += 1
        val = {
            "word": word,
            "len": len(word)
        }
        value = json.dumps(val)
        print("sending:", value)
        producer.send("test_enc_putong", value)
        print("send finished..(wait 5s.)")
        time.sleep(5.0)


    producer.close(3000)
    textfile.close()

第二步：编写FLINKSQL

create table WordCountTab (
    `word` STRING,
    `len` INT,
  # `ts` TIMESTAMP(3) METADATA FROM 'timestamp' #这一行不支持则可以去掉
) with (
    'connector' = 'kafka',
    'topic' = 'test_slankka',
    'properties.bootstrap.servers' = 'xxxxx.xxxxx.xxxxxx.com:9194',
    'properties.group.id' = 'test_flinksql_consumer',
    'format' = 'json',
    'scan.startup.mode' = 'earliest-offset',
    'properties.sasl.jaas.config'= 'org.apache.kafka.common.security.scram.ScramLoginModule required username="slankkaCopyrightReserved" password="passwordOfUsername";',
    'properties.sasl.mechanism' = 'SCRAM-SHA-256',
    'properties.security.protocol' = 'SASL_PLAINTEXT'
);

create table WordCountSink (
   word STRING,
   len INT
) WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://mysql1211.slankkaCorps.com:3306/rtc',
   'table-name' = 'flink_sink_test',
   'username' = 'root',
   'password' = 'root'
);

INSERT INTO WordCountSink
SELECT word, len FROM WordCountTab;

执行即可，生成一个Flink JOB，这个任务会不断得写<word,len>到Mysql中。