摘要：
一、结论 每个窗口函数都有orderby 结论：改成全局一次orderby 子查询：MR 结论：最好不要子查询 优先干死多余数据 【对hive来说】=> 先inner join（不会MR），再where（会MR） 【对mysql来说】=> 先 where（筛数据） 再 on（where在前，多个条件 阅读全文
摘要：
常用：ORC & Parquet 性能对比： hbase底层用sequenceFile 一、从text格式 到 orc => 利用中间表方法(从textfile到orc)：https://blog.csdn.net/happyrocking/article/details/90178439 CREA 阅读全文
摘要：
一、hive有主键吗？有索引吗 hive中没有主外键，但是有索引！！！关系型才有主外键！！！ 二、hive的“主键” 1. uuid 缺点：uuid太长了，随机的不利于重跑，如果别的维度表要用到此维度表主键做外键，只要重跑了会变，那么作为外键值又得改了2. row_number() 缺点：重复3. 阅读全文
摘要：
基于时间戳CDC 基于触发器的CDC 基于快照的CDC 基于日志的CDC 基本用时间戳CDC，日志CDC！ 分为侵入式和非侵入式。侵入式：对源数据库有sql操作，有性能影响（前三种都是） 1.基于时间戳CDC 两列时间，分别记录create_time和modify_time，可以识别变动数据 缺点： 阅读全文
摘要：
分类： 数据库级触发器 表级触发器 行级触发器 增删改触发器（根据触发时机） 场景1：解除外键约束 一般来说，插表先插主表，删表先删从表（见：https://www.cnblogs.com/sabertobih/p/13966709.html） 外键约束的创建限制： >>> 如何用触发器实现：插表和 阅读全文
摘要：
一、什么是消息中间件 1.概念 2.分类 ActiveMQ RabbitMQ RocketMQ Kafka Redis ... 3.作用：为什么使用MQ？ 异步调用 同步变异步（漏斗作用，保证不堵塞） 应用解耦 提供基于数据的接口层 流量削峰（主要目的） 缓解瞬时高流量压力 二、Kafka概念 2. 阅读全文
摘要：
一、目录 二、代码 PoolConstant package cn.kgc.kb08.jdbc.dao3.impl; public interface PoolConstant { String POOL_CORE_COUNT="coreCount"; String POOL_MAX_COUNT=" 阅读全文
摘要：
Channel package com.njbdqn.services.utils; import org.apache.hadoop.hbase.client.Connection; /** * 数据库连接对象包装类,mysql自己有第三方连接池，hbase还没有 */ public class 阅读全文
摘要：
素材：https://www.cnblogs.com/duanxz/p/5229352.html 一、CAP 一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。 可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。 分区容忍性（P）：以实际效果而言，分区相 阅读全文
摘要：
一、使用hbase shell 导入数据 1. hive-hbase 通过hive导入（处理的）数据 hdfs存放数据，hive建立外部表tab1，建立外部表tab_hbase映射hbase中的某个表，最后insert into tab_hbase select XXX from tab1 例1： 阅读全文