2019 年 12月 16 日随笔档案 - 锋锋2019

数据的采集

摘要：采集简单分类：采集类型：全量采集：相当于每天整张表做个快照，在hdfs上就是一个分区，表比较小增量采集：采集每天增加的部分表命名规则:-i结尾: 流水型的纯增量的-d结尾: 快照的-a结尾: 全量没有任何分区 1、流水型数据：写入数据库数据不再发生变化（如日志，交易流水），第阅读全文

posted @ 2019-12-16 12:28 锋锋2019 阅读(764) 评论(0) 推荐(0) 编辑