摘要:
Hadoop MapReduce 的 Shuffle 阶段是指从 Map 的输出开始,包括系统执行排序,以及传送 Map 输出到 Reduce 作为输入的过程。排序阶段是指对 Map 端输出的 Key 进行排序的过程。不同的 Map 可能输出相同的 Key,相同的 Key 必须发送到同一个 Redu 阅读全文
摘要:
drop table if exists `employees` ; drop table if exists `salaries` ;CREATE TABLE `employees` (`emp_no` int(11) NOT NULL,`birth_date` date NOT NULL,`fi 阅读全文
摘要:
#SQL18 获取当前薪水第二多的员工的emp_no以及其对应的薪水salarydrop table if exists `employees` ; drop table if exists `salaries` ; CREATE TABLE `employees` (`emp_no` int(11 阅读全文
摘要:
drop table if exists `dept_emp` ; drop table if exists `salaries` ; CREATE TABLE `dept_emp` (`emp_no` int(11) NOT NULL,`dept_no` char(4) NOT NULL,`fro 阅读全文
摘要:
关系建模:遵循三范式 1.基本字段不可再分割 2.其他字段对主键完全依赖 3.其他字段间不存在传递依赖关系 维度建模:星型模型 雪花模型 星座模型 实体表 维度表(码表) 事实表 事实表的分类:事务型事实表 周期型快照事实表 累积型快照事实表 按数据同步分类: 全量表 增量表 同步新增及变化数据的表 阅读全文
摘要:
dwd层除了数据清洗 cast(id as bigint)>0 and id is not 之外,维度退化的作用 将 三级分类 省市、区域 等小表提前 join 成 商品分类、地区表等 避免后期频繁join 影响查询效率 阅读全文