2016年11月23日
Sqoop切分数据的思想概况
摘要： Sqoop通过 split by指定切分的字段， m设置mapper的数量。通过这两个参数分解生成m个where子句，进行分段查询。因此sqoop的split可以理解为where子句的切分。 第一步，获取切分字段的MIN()和MAX() 为了根据mapper的个数切分table,sqoop首先会执行 阅读全文
posted @ 2016-11-23 22:29 xingoo 阅读(5482) 评论(0) 推荐(0) 编辑