摇光在望

摘要： #!/bin/sh # for i in '020W0700' '010WE0440' '020R0100' '020WE0300' do batch_code=$i inc_day=$a before=$b sep_incday=$c echo "tt $sep_incday" hive -e " 阅读全文

摘要： 一、sql文件名和sh配置文件一样，一起压缩成zip文件上传。.sh配置文件如下： 1 #!/bin/bash 2 v_proc_name='freight_waybill_prom_time_day1'; 3 v_filename="${v_proc_name}.sql"; 4 5 ######日 阅读全文

摘要： 一、hive小文件 Hive的数据存储在HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。HDFS主要分为NameNode，DataNode，ZKFC。 简单来说，HDFS数据的文件元信息，包括位置、大小、分块信息等，都是保存在NameNod 阅读全文

摘要： 一、建立分区表（parquet存储格式） --数据倾斜优化set tez.queue.name=队列;set hive.execution.engine=tez; set hive.exec.dynamic.partition.mode=nonstrict;set hive.optimize.sor 阅读全文

摘要： 一、ReplacingMergeTree存储引擎 --drop table doorku.dm_delivery_rate_billno_di on cluster default; create table doorku.dm_delivery_rate_billno_di on cluster 阅读全文

摘要： 一、利用MySQL存储过程来更新各个板块数据的最新分区时间，传给前端做时间调用 1.1 新建表 create table `heavy_conf_date_display` ( `module_code` varchar(256) default null comment '模块代码', `modu 阅读全文