Robots2

摘要： 一、假数据解析 SELECT r1.col.dataSourceId, r1.col.database, r1.col.dataTable FROM (SELECT explode(r.json) AS col FROM ( SELECT from_json('[{"dataSourceId":4, 阅读全文

摘要： 新建test.sh脚本 #!/bin/bash set -e cospath=https://11111.cos.ap-beijing.myqcloud.com/emr/hive/script/20231213/iceberg-hive-runtime-1.3.1.jar downloadjar() 阅读全文

摘要： 一、Presto服务下新建catelog cd /usr/local/service/presto/etc/catalog vim iceberg.properties connector.name=iceberg #iceberg.catalog.type=hive_metastore hive. 阅读全文

摘要： 1、基础养老金计月基础养老金=退休当年养老金计发基数（退休时上年度社会平均工资）×（1+个人平均缴费指数）÷2×缴费年限×1% 2020年北京的养老金计发基数11082元。缴费年限为20。把数据代入公式可以得到：月基础养老金=11082 ×（1+3）÷2×20×1%=4432元。 2、个人账户养老金 阅读全文

摘要： 一、关键参数设置 1、HDFS 参数 值 描述 文件大小 文件大小 2、腾讯CHDS(对象大数据存储) 参数 值 描述 最大访问频次 阅读全文

摘要： 一、简介 存储过程（Procedure）是数据库领域的概念，类似于编程语言中的方法或函数，是对实现特定操作的封装，原生的 Spark SQL 中是不支持存储过程的，Iceberg 0.11.0版本之后对其进行了扩展，并提供了部分存储过程的实现。Iceberg 中提供的所有存储过程都在system n 阅读全文

摘要： 1、查询表结构 show create table data_lake_ods.test CREATE TABLE spark_catalog.data_lake_ods.test ( `user_number` BIGINT NOT NULL, `subclazz_number` BIGINT N 阅读全文

摘要： 一、默认的Copy on Write Copy no Write模式指的是在进行更新数据时，先将数据拷贝出来进行相应的更新，再替换掉原先的数据 二、Merge On Read读取时合并 在v2版本才支持，Merge on Read的Row-level delete使用了如下概念： delete fi 阅读全文

摘要： 1、阿里云安装centos7服务器 得到用户名密码和ip后用securCrt连接工具链接远程主机 2、安装fastdfs图片服务器 （1）上传需要的压缩包 libfastcommon-common.zip（依赖工具包） FastDFS_v5.05.tar.gz（源码） fastdfs-nginx-m 阅读全文

摘要： redis安装1、安装gcc-c++编译环境yun install gcc-c++ 2、把redis上传到linux服务器 3、解压缩 tar -zxf redis-3.0.0.tar.gz 4、make 5、安装并指定安装目录 需要创建目录/usr/local/redismake install 阅读全文