Hive常见时间日期函数的使用与问题整理
摘要：
Hive常见时间日期函数的使用与问题整理 阅读全文
posted @ 2024-02-22 15:56 RICH-ATONE 阅读(20) 评论(0) 推荐(0) 编辑
2024年2月22日 #
2024年1月30日 #
Linux批量更改文件名
摘要：
Linux批量更改文件名称： 现假如目录下有一堆aaa_01.cpp， aaa_02.cpp， aaa_03.cpp， aaa_04.cpp等形式的文件，我们的需求是将文件名中的aaa改成bbb，那么完成这个需求的命令如下： rename aaa bbb ./*cpp 文件就批量变为了：bbb_01 阅读全文
posted @ 2024-01-30 18:24 RICH-ATONE 阅读(53) 评论(0) 推荐(0) 编辑
2024年1月19日 #
Hive通过-f调用sql文件并进行传参
摘要：
Hive通过-f调用sql文件并进行传参 test.sql 示例： select * from dwd.test where dt='${hiveconf:dt}' and gn='${hiveconf:gn}' limit 10 ; 传参示例： ~/bin/hive -hiveconf dt=20 阅读全文
posted @ 2024-01-19 14:01 RICH-ATONE 阅读(89) 评论(0) 推荐(0) 编辑
2024年1月18日 #
Oozie重试任务不生效问题解决
摘要：
1、oozie默认为不重试规则，想要重试需在action中配置重试规则，示例如下： retry-max="3" retry-interval="1" 发现增加以上配置后，任务失败并未生效； 2、在~/oozie/conf/oozie-site.xml中增加以下配置： <property> <name 阅读全文
posted @ 2024-01-18 18:42 RICH-ATONE 阅读(20) 评论(0) 推荐(0) 编辑
2023年10月11日 #
Linux批量替换文件内容
摘要：
示例方法： Linux下批量替换多个文件中的字符串的简单方法。用sed命令可以批量替换多个文件中的字符串。 用sed命令可以批量替换多个文件中的 字符串。 sed -i "s/原字符串/新字符串/g" `grep 原字符串 -rl 所在目录` 例如：我要把mahuinan替换 为huinanma，执 阅读全文
posted @ 2023-10-11 17:20 RICH-ATONE 阅读(25) 评论(0) 推荐(0) 编辑
2023年8月28日 #
空间密度算法DBSCAN和K-means聚类算法有什么区别和联系
摘要：
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）和K-means是两种常见的聚类算法，它们有一些区别和联系。 区别： 原理：K-means是基于距离的划分聚类算法，通过最小化数据点与聚类中心之间的平方误差来进行聚类 阅读全文
posted @ 2023-08-28 17:44 RICH-ATONE 阅读(263) 评论(0) 推荐(0) 编辑
2023年7月27日 #
Kafka集群数据同步 MirrorMaker详解
摘要：
1、什么是MirrorMaker？ MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要作用是从源集群中消费并生产到目标集群。 一个集群可以启动多个MirrorMaker配置到多个Kafka集群； 2、如果想在Kafka测试集群，同步线的Kafka数据， 阅读全文
posted @ 2023-07-27 11:15 RICH-ATONE 阅读(1253) 评论(0) 推荐(0) 编辑
2023年7月26日 #
Flink 容错机制 保存点和检查点
摘要：
Flink检查点常用配置： //配置检查点 env.enableCheckpointing(180000); // 开启checkpoint 每180000ms 一次 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(50000);// 阅读全文
posted @ 2023-07-26 19:03 RICH-ATONE 阅读(118) 评论(0) 推荐(0) 编辑
2023年7月3日 #
2023年6月30日 #
clickHouse中实现类似lag和lead的函数
摘要：
clickhouse中的lead和lag实现有多种方法，在标准的SQL中使用的windows function即可实现。 示例数据： CREATE TABLE llexample ( g Int32, a Date ) ENGINE = Memory; INSERT INTO llexample S 阅读全文
posted @ 2023-06-30 17:48 RICH-ATONE 阅读(1465) 评论(0) 推荐(0) 编辑
