摘要：
# -*- encoding: utf-8 -*- ''' @File : launcher.py @Time : 2021/11/16 17:55:00 @Author : Shydow @Version : 1.0 @Desc : 3sigma异常值检测 ''' # here put the i 阅读全文
摘要：
由于在实时同步数据过程中，需要对数据进行一次初始化维表关联的操作，需要读取HBase里面的历史数据与维表进行关联，刚开始使用spark做离线处理，现在使用Flink做离线的ETL。 环境： Flink：1.12.2 HBase：2.1.0-cdh6.2.1 pom依赖 <!-- Licensed t 阅读全文
摘要：
依赖 <!-- 相关依赖 --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.1.1-cdh6.2.1</version> </dependency> <d 阅读全文
摘要：
一、Hive调优策略 架构调优1、执行引擎：Hive默认使用的是MR，可以换为Tez，Tez将多个mapReduce任务合并成一个较大的DAG任务，减少mapreduce迭代过程中文件存储，其他的引擎可以是spark，flink等；2、分区分桶表：对于一张较大的表，将其设计成分区表可以提高查询性能， 阅读全文
摘要：
DDL -- 创建数据库,默认数据库地址是/user/hive/warehouse CREATE DATABASE IF NOT EXISTS myhive; -- 指定数据库的地址 CREATE DATABASE set_location_hive LOCATION '/custom' -- 删除 阅读全文
摘要：
架构 CLI用户接口：接受SQL，并返回运行结果 Thrift Server：通过JDBC或者ODBC访问hive MetaStore：hive的元数据存储在关系型数据库中，元数据包括：数据库名，表名及类型，字段名称及数据类型，数据存储位置等 驱动程序： 解析器：使用第三方工具（antlr）将HSQ 阅读全文