sqoop
官网
简介
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中
安装
官方安装地址：http://sqoop.apache.org/docs/1.99.7/admin/Installation.html#server-installation
sqoop由两个部分组成，Sever和Client
Server: 在集群中的某个节点安装，它是客户端的入口
Client：可以被安装在任何地方
Server端安装
1、下载包：sqoop-1.99.7-bin-hadoop200.tar.gz，注意下载带bin的不要下载源码包
2、解压sqoop安装包
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C apps/
3、重命名：
mv sqoop-1.99.7-bin-hadoop200/ sqoop
4、hadoop依赖配置，设置HADOOP_HOME环境变量即可
export HADOOP_HOME=/home/hadoop/apps/hadoop source /etc/profile
5、hadoop配置，在hadoop core-site.xml中添加支持代理用户机制，主要是添加一下两个属性hadoop.proxyuser.$SERVER_USER.hosts和 hadoop.proxyuser.$SERVER_USER.groups，$SERVER_USER就是我们启动sqoop的用户(hadoop)，一般值设置为*即可
<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property>
配置好后，分发到其他的节点
scp core-site.xml m2:$PWD
scp core-site.xml m3:$PWD
4、第三方jar的支持，创建一个目录，里面存放第三方jar，然后配置环境变量SQOOP_SERVER_EXTRA_LIB指向它
mkdir extlib export SQOOP_SERVER_EXTRA_LIB=/home/hadoop/apps/sqoop/extlib source /etc/profile
5、添加bin目录到系统环境变量中
export PATH=/home/hadoop/apps/sqoop/bin:$PATH source /etc/profile
6、配置Server,配置文件在conf目录下，根据具体情况进行调整，此处修改sqoop.properties中org.apache.sqoop.submission.engine.mapreduce.configuration.directory，指定为具体的hadoop安装目录下的配置文件目录
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/apps/hadoop/etc/hadoop
7、校验配置是否正确，使用如下的命令
sqoop2-tool verify
8、初始化，第一次启动的时候需要初始化，使用下面的命令进行初始化
sqoop2-tool upgrade
9、启动服务器
sqoop2-server start
10、停止服务器
sqoop2-server stop
Client端安装
客户端安装，拷贝安装包到其他机器即可，同时拷贝环境变量文件/etc/profile
source /etc/profile
启动客户端
sqoop2-shell
