RICH-ATONE

2021年6月25日 #

Flink SQL CDC中如何定义watermark和计算列

摘要：官网示例： -- use the existing TIMESTAMP(3) field in schema as the rowtime attribute CREATE TABLE MyTable ( ts_field TIMESTAMP(3), WATERMARK FOR ts_field A 阅读全文

posted @ 2021-06-25 18:02 RICH-ATONE 阅读(1333) 评论(0) 推荐(1)

2021年6月23日 #

Scala函数详解

摘要：高阶函数待续。。阅读全文

posted @ 2021-06-23 14:54 RICH-ATONE 阅读(130) 评论(0) 推荐(0)

2021年6月22日 #

HBase 底层原理详解

摘要：参考： HBase 底层原理详解阅读全文

posted @ 2021-06-22 15:33 RICH-ATONE 阅读(116) 评论(0) 推荐(0)

2021年6月18日 #

流计算 Oceanus SQL 开发指南

摘要：流计算 Oceanus SQL 开发指南阅读全文

posted @ 2021-06-18 10:18 RICH-ATONE 阅读(117) 评论(0) 推荐(0)

2021年6月17日 #

Flume引用第三方jar包，进行jar包隔离

摘要：引用第三方jar包不必放在flume的lib目录下，参考http://flume.apache.org/FlumeUserGuide.html#installing-third-party-plugins 在flume目录下新建plugins.d目录，此目录下每个插件单独一个目录，每个插件目录下可阅读全文

posted @ 2021-06-17 17:35 RICH-ATONE 阅读(329) 评论(0) 推荐(0)

flume自定义拦截器解决数据漂移问题及切分日志日期

摘要： flume中的数据漂移问题解决：在flume-kafka-flume中 flume1：taildir source -- kafka channel flume2：kafka source -- File channel -- HDFS sink 第二层flume的kafka source上挂上一阅读全文

posted @ 2021-06-17 17:31 RICH-ATONE 阅读(644) 评论(0) 推荐(0)

2021年6月16日 #

Flink SQL web平台搭建

摘要：待续。。。参考： https://github.com/zhp8341/flink-streaming-platform-web 或者zeppeline 阅读全文

posted @ 2021-06-16 16:15 RICH-ATONE 阅读(589) 评论(0) 推荐(0)

2021年6月1日 #

Flink SQL窗口函数详解

摘要：参考： https://segmentfault.com/a/1190000023296719 首页 > 实时计算Flink版 > Blink独享/共享集群（原产品线） > Flink SQL参考 > 窗口函数 > 阅读全文

posted @ 2021-06-01 16:51 RICH-ATONE 阅读(844) 评论(0) 推荐(0)

2021年5月31日 #

Flink——Side Output侧输出流

摘要： Flink——Side Output侧输出流阅读全文

posted @ 2021-05-31 10:27 RICH-ATONE 阅读(159) 评论(0) 推荐(0)

2021年5月27日 #

Hadoop hdfs dfs常用命令的使用

摘要：拷贝命令 -cp 在HDFS文件系统中，将文件或目录复制到目标路径下Usage：hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>选项：-f选项覆盖已经存在的目标。-p选项将保留文件属性[topx]（时间戳，所有权，权限，ACL，XAt 阅读全文

posted @ 2021-05-27 15:21 RICH-ATONE 阅读(1199) 评论(0) 推荐(0)