摘要：
一、日期处理 1、查询当前日期 SELECT current_date() 2023-12-22 2、查询当前时间戳 select current_timestamp() 2023-12-22 14:50:19.213 3、查询当前时间戳-1小时 select current_timestamp() 阅读全文
摘要：
一、假数据解析 SELECT r1.col.dataSourceId, r1.col.database, r1.col.dataTable FROM (SELECT explode(r.json) AS col FROM ( SELECT from_json('[{"dataSourceId":4, 阅读全文
摘要：
新建test.sh脚本 #!/bin/bash set -e cospath=https://11111.cos.ap-beijing.myqcloud.com/emr/hive/script/20231213/iceberg-hive-runtime-1.3.1.jar downloadjar() 阅读全文
摘要：
一、Presto服务下新建catelog cd /usr/local/service/presto/etc/catalog vim iceberg.properties connector.name=iceberg #iceberg.catalog.type=hive_metastore hive. 阅读全文
摘要：
1、基础养老金计月基础养老金=退休当年养老金计发基数（退休时上年度社会平均工资）×（1+个人平均缴费指数）÷2×缴费年限×1% 2020年北京的养老金计发基数11082元。缴费年限为20。把数据代入公式可以得到：月基础养老金=11082 ×（1+3）÷2×20×1%=4432元。 2、个人账户养老金 阅读全文
摘要：
一、关键参数设置 1、HDFS 参数 值 描述 文件大小 文件大小 2、腾讯CHDS(对象大数据存储) 参数 值 描述 最大访问频次 阅读全文
摘要：
一、简介 存储过程（Procedure）是数据库领域的概念，类似于编程语言中的方法或函数，是对实现特定操作的封装，原生的 Spark SQL 中是不支持存储过程的，Iceberg 0.11.0版本之后对其进行了扩展，并提供了部分存储过程的实现。Iceberg 中提供的所有存储过程都在system n 阅读全文
摘要：
1、查询表结构 show create table data_lake_ods.test CREATE TABLE spark_catalog.data_lake_ods.test ( `user_number` BIGINT NOT NULL, `subclazz_number` BIGINT N 阅读全文
摘要：
一、默认的Copy on Write Copy no Write模式指的是在进行更新数据时，先将数据拷贝出来进行相应的更新，再替换掉原先的数据 二、Merge On Read读取时合并 在v2版本才支持，Merge on Read的Row-level delete使用了如下概念： delete fi 阅读全文
摘要：
1、阿里云安装centos7服务器 得到用户名密码和ip后用securCrt连接工具链接远程主机 2、安装fastdfs图片服务器 （1）上传需要的压缩包 libfastcommon-common.zip（依赖工具包） FastDFS_v5.05.tar.gz（源码） fastdfs-nginx-m 阅读全文