摘要：
1.分段调试 面对长的SQL，出错时一般直接看定位的行号，有时候不出错但是没数据时，应该尝试分段调试，很长的SQL嵌套很多的子查询时，一个一个子查询进行分别调试，看哪一步子查询出了问题，层层推进 2.日志查看 通常情况下，日志都是很重要的指示。有时候一些莫名其妙的错误时，错误信息看得懂却始终调不通时 阅读全文
摘要：
一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效 阅读全文
摘要：
一、概述 数据管理主要分为：元数据管理、计算管理、存储和成本管理、数据质量管理 二、元数据 元数据主要分为两大类：技术元数据和业务元数据 技术元数据： 存储数据仓库技术细节的数据，包括： 存储元数据：表名、字段名、分区信息等 运行元数据：作业类型、SQL、运行参数等 开发元数据：数据同步、计算任务、 阅读全文
摘要：
一、概述 1.什么是数据模型？ 数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。 2.典型数据仓库建模方法论 ER模型 纬度模型（建模四步曲：确定业务流程->确定粒度->确定纬度->确定事实表） 二、阿里巴巴数据整合管理体系oneData 1.体系架构 核心内容 阅读全文
摘要：
一、概述 暂略 二、ODPS插件 https://yq.aliyun.com/articles/68911 三、使用Hive 参考：http://cloud.itheima.com/areanew/schoolzixun/cloud/20190801/192216.html 主要步骤：（请先在本机配 阅读全文
摘要：
一、MySQL 在数据同步中用的比较多的是MySQL的binlog 1.bin-log简介 它记录了所有的DDL和DML(除了数据查询语句，select与show不记录)语句，以事件形式记录，还包含语句所执行的消耗的时间 2.开启bin-log //重启生效 更多详细介绍，参考：https://ww 阅读全文
摘要：
一、整体架构 从下至上依次分为数据采集层、数据计算层、数据服务层、数据应用层 数据采集层：以DataX为代表的数据同步工具和同步中心 数据计算层：以MaxComputer为代表的离线数据存储和计算平台 数据服务层：以RDS为代表的数据库服务（接口或者视图形式的数据服务） 数据应用层：包含流量分析平台 阅读全文
摘要：
1.VLOOKUP函数的套路 VLOOKUP(要找谁,在哪儿找,返回第几列的内容,精确找还是近似找) 最后一个参数： 如果为0或FASLE，用精确匹配方式，而且支持无序查找； 如果为TRUE或被省略，则使用近似匹配方式 其他参数说明： 第一参数是要在表格或区域的第一列中查询的值。 第二参数是需要查询 阅读全文
摘要：
一、建表语句 不带分区版本：V1.0： 带分区与生命周期版本V2.0： 模板： 更新版本2.1： //模板在微云文件中。 二、反向解析 通过DDL，反向解析出字段填充到excel中 反向解析1.0： 清除重置1.1（1.0为直接清除指定区域版，已废弃）： 模板文件在百度云中，图示如下： 阅读全文
摘要：
一、条件控制IF 带else的if语句： 二、条件判断Select/Case 示例： 三、循环控制For/Next 示例：（步长默认为1，next后的循环变量可以省略 ） //更多实例，参考开篇链接 四、循环控制For/Each //与上一个循环类似，这里采用元素变量从对象集合中取得方式 五、循环控 阅读全文