随笔分类 -  Sqoop

Sqoop切分数据的思想概况
摘要：Sqoop通过 split by指定切分的字段， m设置mapper的数量。通过这两个参数分解生成m个where子句，进行分段查询。因此sqoop的split可以理解为where子句的切分。 第一步，获取切分字段的MIN()和MAX() 为了根据mapper的个数切分table,sqoop首先会执行 阅读全文
posted @ 2016-11-23 22:29 xingoo 阅读(5494) 评论(0) 推荐(0) 编辑
[大数据之Sqoop] —— 什么是Sqoop?
摘要：介绍 sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错 阅读全文
posted @ 2016-09-29 18:33 xingoo 阅读(15734) 评论(0) 推荐(4) 编辑
[大数据之Sqoop] —— Sqoop初探
摘要：Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。 关于sqoop的原理 sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据 阅读全文
posted @ 2016-09-12 19:17 xingoo 阅读(2198) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示