RICH-ATONE

2024年2月22日 #

Hive常见时间日期函数的使用与问题整理

摘要: Hive常见时间日期函数的使用与问题整理 阅读全文

posted @ 2024-02-22 15:56 RICH-ATONE 阅读(18) 评论(0) 推荐(0) 编辑

2024年1月30日 #

Linux批量更改文件名

摘要: Linux批量更改文件名称: 现假如目录下有一堆aaa_01.cpp, aaa_02.cpp, aaa_03.cpp, aaa_04.cpp等形式的文件,我们的需求是将文件名中的aaa改成bbb,那么完成这个需求的命令如下: rename aaa bbb ./*cpp 文件就批量变为了:bbb_01 阅读全文

posted @ 2024-01-30 18:24 RICH-ATONE 阅读(51) 评论(0) 推荐(0) 编辑

2024年1月19日 #

Hive通过-f调用sql文件并进行传参

摘要: Hive通过-f调用sql文件并进行传参 test.sql 示例: select * from dwd.test where dt='${hiveconf:dt}' and gn='${hiveconf:gn}' limit 10 ; 传参示例: ~/bin/hive -hiveconf dt=20 阅读全文

posted @ 2024-01-19 14:01 RICH-ATONE 阅读(85) 评论(0) 推荐(0) 编辑

2024年1月18日 #

Oozie重试任务不生效问题解决

摘要: 1、oozie默认为不重试规则,想要重试需在action中配置重试规则,示例如下: retry-max="3" retry-interval="1" 发现增加以上配置后,任务失败并未生效; 2、在~/oozie/conf/oozie-site.xml中增加以下配置: <property> <name 阅读全文

posted @ 2024-01-18 18:42 RICH-ATONE 阅读(19) 评论(0) 推荐(0) 编辑

2023年10月11日 #

Linux批量替换文件内容

摘要: 示例方法: Linux下批量替换多个文件中的字符串的简单方法。用sed命令可以批量替换多个文件中的字符串。 用sed命令可以批量替换多个文件中的 字符串。 sed -i "s/原字符串/新字符串/g" `grep 原字符串 -rl 所在目录` 例如:我要把mahuinan替换 为huinanma,执 阅读全文

posted @ 2023-10-11 17:20 RICH-ATONE 阅读(24) 评论(0) 推荐(0) 编辑

2023年8月28日 #

空间密度算法DBSCAN和K-means聚类算法有什么区别和联系

摘要: DBSCAN(Density-Based Spatial Clustering of Applications with Noise)和K-means是两种常见的聚类算法,它们有一些区别和联系。 区别: 原理:K-means是基于距离的划分聚类算法,通过最小化数据点与聚类中心之间的平方误差来进行聚类 阅读全文

posted @ 2023-08-28 17:44 RICH-ATONE 阅读(256) 评论(0) 推荐(0) 编辑

2023年7月27日 #

Kafka集群数据同步 MirrorMaker详解

摘要: 1、什么是MirrorMaker? MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要作用是从源集群中消费并生产到目标集群。 一个集群可以启动多个MirrorMaker配置到多个Kafka集群; 2、如果想在Kafka测试集群,同步线的Kafka数据, 阅读全文

posted @ 2023-07-27 11:15 RICH-ATONE 阅读(1217) 评论(0) 推荐(0) 编辑

2023年7月26日 #

Flink 容错机制 保存点和检查点

摘要: Flink检查点常用配置: //配置检查点 env.enableCheckpointing(180000); // 开启checkpoint 每180000ms 一次 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(50000);// 阅读全文

posted @ 2023-07-26 19:03 RICH-ATONE 阅读(115) 评论(0) 推荐(0) 编辑

2023年7月3日 #

为何HBase速度很快?

摘要: 为何HBase速度很快? 阅读全文

posted @ 2023-07-03 18:15 RICH-ATONE 阅读(4) 评论(0) 推荐(0) 编辑

2023年6月30日 #

clickHouse中实现类似lag和lead的函数

摘要: clickhouse中的lead和lag实现有多种方法,在标准的SQL中使用的windows function即可实现。 示例数据: CREATE TABLE llexample ( g Int32, a Date ) ENGINE = Memory; INSERT INTO llexample S 阅读全文

posted @ 2023-06-30 17:48 RICH-ATONE 阅读(1435) 评论(0) 推荐(0) 编辑

导航