FlinkSql使用入门

1|0flinkapi层次结构图

 

 

 

其中，flinksql处于flink最高层的api，相当于api来讲，用法更易理解，但是没有api灵活些，下面简单介绍下flinksql的简单应用。

2|0flinksql样例

2|1　　备注：使用的是1.13.0版本

2|2　　消费kafka

　　　　

CREATE TABLE bg_action (
    bg BIGINT,
    user_source BIGINT,
    uid   BIGINT,
    action VARCHAR,
    __ts BIGINT,
    actionp VARCHAR,
    actionp2 VARCHAR,
    actionp3 VARCHAR,
    actionp5 VARCHAR,
    actionp8 VARCHAR,
    actionp10 VARCHAR,
    t as if(__ts is null,cast(TIMESTAMPADD(HOUR,8,current_timestamp) as TIMESTAMP(3)),to_timestamp(from_unixtime(__ts/1000,'yyyy-MM-dd HH:mm:ss'))),
    watermark for t as t - interval '3' second
) WITH (
    'connector' = 'kafka', -- 使用 kafka connector
    'topic' = '***',  -- kafka topic
    'scan.startup.mode' = 'latest-offset', -- 从起始 offset 开始读取
    'properties.group.id' = '***',
    'properties.bootstrap.servers' = '***',
    'format' = 'json',
    'json.ignore-parse-errors' = 'true'
);

2|3　　查询

select action,t from bg_action;

 

2|4　　 写入kafka

create table sink(
  action string
) with(
  'connector' = 'kafka',
  'topic' = '***',
  'properties.bootstrap.servers' = '***',
  'sink.partitioner' = 'round-robin',
  'format' = 'json'
); --定义sink表作为topic的输出

insert into sink
select action from bg_action

　　当然，中间处理逻辑也可以通过view进行作为临时表映射。

 

__EOF__

本文作者：Coding_now
本文链接：https://www.cnblogs.com/lyr999736/p/16503672.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！