Sqoop

官方参考文档：

http://sqoop.apache.org/docs/1.4.6/index.html

 

Sqoop介绍

Sqoop is a tool designed to transfer data between Hadoop and relational databases or mainframes. You can use Sqoop to import data from a relational database management system (RDBMS) such as MySQL or Oracle or a mainframe into the Hadoop Distributed File System (HDFS), transform the data in Hadoop MapReduce, and then export the data back into an RDBMS.

 

Sqoop 是数据转换的工具，在hadoop和关系型数据库之间进行传递：

import: 将关系型数据库的数据导入到hdfs中，可以为hdfs,hive,hbase;

export: 将hdfs(hdfs,hive)中的数据导入到关系型数据库当中;

 

帮助：

$sqoop help
$sqoop help import
$sqoop help export

 

import例子：

将数据从mysql中，导入到hdfs中，通过选项文件来执行操作;

sqoop --options-file options1.txt

options1.txt文件内容：

#导入 从数据库到hdfs
import

#数据库连接
--connect
jdbc:mysql://node1:3306/test

#数据库用户名密码
--username
root
--password
root

#字段
--columns
id,name,age
--where
1=1

#表名
--table
t_persion

#num of map task, 只执行一次，且导入按顺序，需要设置值为1
--num-mappers
1

#hdfs中如果存在，则删除再导入
--delete-target-dir

#目标目录
--target-dir
/sqoop/test1

#sting类型字段，值为null， 则修改为
--null-string
''

#非string类型字段，值为null，则修改为
--null-non-string
''

 

export例子：

从hive中导出数据到mysql中；

1. 首先mysql中的表结构必须存在；
2. 默认的hdfs中文件的字段分隔符是”,”;

常用的选项说明：

--update-key    更新的条件

--update-mode  updateonly(默认)  allowinsert

--input-fields-terminated-by "\\01"  hive表存储的文件，默认的字段分隔符；

通过选项文件来执行：

 sqoop --options-file options4.txt --input-fields-terminated-by "\\01" 

options4.txt的文件内容：

export
#连接数据库
--connect 
jdbc:mysql://node1:3306/test 
--username 
root 
--password 
root 

#数据库表
--table 
t_persion 

#hive文件位置
--export-dir 
/user/hive/warehouse/t_persion

#允许插入
--update-mode 
allowinsert 

#更新字段的条件
--update-key 
id,name