摘要：
好多同学对sql的优化好像是知道的甚少，最近总结了以下34条仅供参考。 (1)选择最有效率的表名顺序(只在基于规则的优化器中有效)： ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个 阅读全文
摘要：
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null可以在n 阅读全文
摘要：
（1）SparkSQL电子书：http://marsishandsome.github.io/SparkSQL-Internal/ (来源：https://www.zhihu.com/question/31427697)（2）B站入门视频：https://www.bilibili.com/video 阅读全文
摘要：
作者：五分钟学大数据链接：https://www.zhihu.com/question/31427697/answer/2204776776 1. Spark 的运行流程？<img src="https://pic3.zhimg.com/50/v2-b34da00bc67564b8e3289757d 阅读全文
摘要：
https://blog.csdn.net/weixin_39032019/article/details/120239321?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165762280716782425136365%2522% 阅读全文
摘要：
数据中台 一、数仓分层1.1分层概念 ods：原始数据层，存放原始数据。 dwd：明细数据层，对原始数据进行清洗，如去空值、日期格式转换、数据脱敏、脏数据处理等。 dws：数据服务层，对明细数据层进行轻度汇总。 dwt：数据主题层，以dws层为基础，进行数据累积汇总。 ads：数据应用层，为数据应用 阅读全文
摘要：
数据建模方法论及实施步骤 了解数据建模之前首先要知道的是什么是数据模型。数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。 一、概要：数据建模简介 数据基本用于两种目的：1、操作型记录的保存2、分 阅读全文
摘要：
阅读全文
摘要：
1. pandas:数据分析类库基于NumPy，为了解决数据分析任务而创建的工具。Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。Pandas最初被作为金融数据分析工具而开发，为时间序列分析提供了很好的支持。panel data是经济学中 阅读全文
摘要：
数据仓库 在实际工作中，数仓分层、元数据管理、数据质量管理一直是一个持续优化的过程，我们公司业务也是在持续的做数仓的优化工作，在数据治理这方面还是欠缺很多的经验的。下面先简单整理了一下第一个理论部分的相关笔记。 一、数据仓库理论（1）数据仓库四大特征面向主题：较高层次上企业信息系统中的数据综合、归类 阅读全文