2021年2月23日
数据处理_HIVE增量ETL的一种方式
摘要： 适用场景： 贴源层主表历史数据过大，ETL不涉及历史数据对比或聚合 处理流程： 1.确定一个业务主键字段或物理主键字段 2.确定一个可以判断增量数据范围的字段，这取决于具体的业务场景，一般选用记录的创建时间或最后修改时间 3.确定一个分区字段，要求一段增量数据尽可能落在较少的分区，这里选用创建时间或 阅读全文
posted @ 2021-02-23 23:02 WhoYoung 阅读(970) 评论(0) 推荐(0) 编辑