摘要:
一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时,如果每个on子句都使用相同的连接键的话,那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避免一个SQL 阅读全文
摘要:
一、新建流程图 1.1 新建流程图 1.2 左侧操作符介绍 Flow:顾名思义就是流,用来从一个操作流向下一个操作。 Process: 过程 Terminator:用在结束的时候。 Dicision:是决策的意思,就是需要做决定做选择的处理。 Manual input:是手动输入的意思,就是需要做输 阅读全文
摘要:
一、异常 1)DB::Exception: Nested type Array(String) cannot be inside Nullable type (version 20.4.6.53 (official build))原因:字段类型是Nullable(String),在使用一些字符串函数 阅读全文
摘要:
一、常用操作 1、建数据库 连接数据库:clickhouse-client -h 10.0.0.0 --port 9000 -u test_user --password test_password -m 可以通过jdbc方式访问,DBeaver软件选择ck引擎,8123端口。也可直接客户端方式访问 阅读全文
摘要:
一、maven-jar-plugin 默认的打包插件,用来打普通的jar 包,需建立lib目录里来存放需要的依赖包 二、maven-shade-plugin (推荐) 将依赖的jar包打包到当前jar 包,成为fat JAR包 <properties> <encoding>UTF-8</encodi 阅读全文
摘要:
一、简介 SPI 的全称为 (Service Provider Interface),是 JDK 内置的一种服务提供发现机制。主要由工具类 java.util.ServiceLoader 提供相应的支持 其中分为两个角色 Service - 服务,通常为一个接口或一个抽象类,比如:java.sql. 阅读全文
摘要:
一、下载地址 https://www.ej-technologies.com/download/jprofiler/files 版本:11 激活码:L-J11-Everyone#speedzodiac-327a9wrs5dxvz#463a59 二、Idea中搜索安装插件 2.1 安装插件 2.2 重 阅读全文
摘要:
一、准备工作 1.1 下载地址 https://github.com/apache/hive https://dlcdn.apache.org/hive/ 版本:2.3.9 1.2 环境依赖 hadoop2.x mysql maven java8 1.3 Idea插件 需要在idea中搜索安装ANT 阅读全文
摘要:
一、常用命令 1、查询 连接客户端 hbase shell 查询优哪些表:list 查询表结构:describe 'table' 扫描表前几条数据:scan 't1',{LIMIT=>5} 查询表t1 rowkey001中的f1下的col1的值:get 't1','rowkey001', 'f1:c 阅读全文