摘要: hive解析json,高级案例,非udf 阅读全文
posted @ 2022-05-07 12:59 架构艺术 阅读(198) 评论(0) 推荐(0) 编辑
摘要: https://www.processon.com/diagrams 阅读全文
posted @ 2024-09-02 10:41 架构艺术 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 1. 主键索引(Primary Key Index) 原理: 主键索引基于数据的物理排序存储。在StarRocks中,定义了主键的表,其数据将会按照主键字段的值进行有序排列。这不仅提供了唯一性约束,还确保了基于主键的查询能够通过跳跃列表或类似的数据结构快速定位记录。 案例: 假设有一个用户行为表 u 阅读全文
posted @ 2024-03-12 15:51 架构艺术 阅读(1349) 评论(0) 推荐(0) 编辑
摘要: 在 flink sql 中,对表名、字段名、函数名等是严格区分大小写的,为了兼容 hive 等其他仓库,建议建表时,表名和字段名都采用下划线连接单词的方式,以避免大小写问题。 比如 hive ,是不区分大小写的,所有大写字母最终都会被系统转化为小写字母,此时使用 flink sql 去读写 hive 阅读全文
posted @ 2023-09-05 14:43 架构艺术 阅读(488) 评论(0) 推荐(0) 编辑
摘要: ALTER TABLE esg_dsp.ODS_ACDM_T_ACDM_STAND_RULE_AIRLINE_kafka MODIFY COLUMN before string NULL COMMENT "更新前航班信息"; ALTER TABLE esg_dsp.ODS_ACDM_T_ACDM_S 阅读全文
posted @ 2023-06-22 08:12 架构艺术 阅读(26) 评论(0) 推荐(0) 编辑
摘要: java -cp ./checkRoutineLoad.jar com.sf.App jdbc:mysql://10.xx.xx.14:port,10.xx.xx.15:port,10.xx.xx.16:port accountName password alarmList alarmType al 阅读全文
posted @ 2023-06-06 14:36 架构艺术 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Flume主要有以下几种监控方式: 1.JMX监控配置 {$FLUME_HOME}/conf/flume-env.sh cd $FLUME_HOME/confvi flume-env.sh export JAVA_OPTS="-Xms500m -Xmx10240m -Dcom.sun.managem 阅读全文
posted @ 2023-04-28 18:32 架构艺术 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 官网:https://hudi.apache.org/cn/docs/0.7.0/overview/ https://hudi.apache.org/docs/quick-start-guide 阅读全文
posted @ 2022-11-30 18:39 架构艺术 阅读(58) 评论(0) 推荐(0) 编辑
摘要: SET start_day=case when '${start_day}'='null' then '$[time(yyyy-MM-dd,-3d)]' else '${start_day}' end; --3天前的 SET end_day=case when '${end_day}'='null' 阅读全文
posted @ 2022-08-02 11:01 架构艺术 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 在一个几年的旧表,表最后面,新增字段 alter table dwd.dwd_xxx_dtl_di add columns( `line_type` string COMMENT 'xx类型' ) cascade; 插入语句,新增字段一定在select语句最后面。不然字段会错位 insert sel 阅读全文
posted @ 2022-06-09 14:00 架构艺术 阅读(131) 评论(1) 推荐(0) 编辑
摘要: 字段内容,以M或P开头 select dept_code RLIKE '^[MP].*' a, * from tmp_gdl.tmp10_bk where dept_code RLIKE '^[MP].*' limit 100 字段名,查找除了ds和hr之外的所有列。 set hive.suppor 阅读全文
posted @ 2022-06-09 13:56 架构艺术 阅读(43) 评论(0) 推荐(0) 编辑