大数据

sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错性。

 

通过sqoop，你可以从关系型数据库中导出数据，导入到hdfs中。输入可能是数据库的一张表或者查询结果；输出则是数据库表或者结果的导出文件集合。导入进程是并行的，因此输出的结果可能是多个文件（最终在hdfs中可能会得到多个文件）。这些文件可能是标准的文本文件TextFile（比如，使用逗号做字段间的分割），也可能是Avro或者SequeenceFiles的记录文件。

 

sqoop的导入进程是一个自动生成出来的java class，因此它的很多组件都可以自定义，比如导入的格式、文本的格式、到出的格式等等。

 

sqoop还提供了很多的工具来检查数据库.

 

比如通过sqoop-list-databases可以列出数据库的表视图。

 

[root@hadoop-master bin]# sqoop-list-databases --connect 'jdbc:mysql://localhost:3306/dbname' --username 'name' --password 'passwd'
16/09/29 18:29:11 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
16/09/29 18:29:11 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
16/09/29 18:29:11 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
test
dev
xingoo

 

通过sqoop-list-tables查看表

 

[root@hadoop-master bin]# sqoop-list-tables --connect 'jdbc:mysql://localhost:3306/dbname' --username 'name' --password 'passwd'
16/09/29 18:26:50 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
16/09/29 18:26:50 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
16/09/29 18:26:51 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.