[大数据之Sqoop] —— Sqoop初探

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具，当然也支持把数据从hdfs或者hive导入到关系型数据库中。

Sqoop也是基于Mapreduce来做的数据导入。

关于sqoop的原理

sqoop的原理比较简单，就是根据用户指定的sql或者字段参数，从数据库中读取数据导入到hive或者hdfs中。也支持基于数据库导出工具导出，不过受限于数据库的版本。

在导出的过程中，sqoop会自动切分mapreduce任务。比如某个字段的主键是从1到1000，那么当设置num-mappers为2时，第一个mr任务会读取1-500的数据，第二个mr任务会读取500-1000的数据。如果是字符串还有其他的划分方法.

关于架构

sqoop目前有两个大版本，第一个版本比较简单，只能使用命令行

第二个版本引入了sqoop server，统一处理连接等信息，并提供多种连接方式，还引入了权限控制，另外规范了连接的各项配置。

官方文档

没啥说的，学东西，还得阅读官方文档，链接参考这里