Sqoop简介及安装
Hadoop业务的大致开发流程以及Sqoop在业务中的地位：
Sqoop概念
Sqoop可以理解为【SQL–to–Hadoop】，正如名字所示，Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具。它可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。
Sqoop版本对比
Sqoop1和Sqoop2对比：
- 两个版本，完全不兼容，Sqoop1几乎无法平滑升级到Sqoop2
- 版本号划分区别
- Apache版本：1.4.x(Sqoop1); 1.99.x(Sqoop2)
- CDH版本 : Sqoop-1.4.3-cdh4(Sqoop1) ; Sqoop2-1.99.2-cdh4.5.0 (Sqoop2)
- Sqoop2 相对 Sqoop1的改进
- 引入Sqoop server，集中化管理connector等
- 访问方式多样化：CLI(command-line interface，命令行界面)，Web UI，REST API
- 引入基于角色的安全机制
在架构上，sqoop2引入了sqoop server（具体服务器为tomcat），对connector实现了集中的管理。其访问方式也变得多样化了，其可以通过REST API、JAVA API、WEB UI以及CLI控制台方式进行访问。
另外，其在安全性能方面也有一定的改善，在sqoop1中我们经常用脚本的方式将HDFS中的数据导入到mysql中，或者反过来将mysql数据导入到HDFS中，其中在脚本里边都要显示指定mysql数据库的用户名和密码的，安全性做的不是太完善。在sqoop2中，如果是通过CLI方式访问的话，会有一个交互过程界面，你输入的密码信息不被看到。
Sqoop架构对比
安装部署
移步sqoop官网：http://sqoop.apache.org/
我们可以看到现在的稳定版本是1.4.6，1.99.7与1.4.6不兼容，并且1.99.7不适用于生产部署。所以我们下载1.4.6版本。
1、下载
下载地址：http://www-eu.apache.org/dist/sqoop/1.4.6/
下载 sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz
2、解压安装
tar -zxvf sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz -C /data
cd /data
mv sqoop-1.4.6.bin__hadoop-1.0.0/ sqoop1
chmod -R 775 /data/sqoop1
chown -R hadoop:hadoop /data/sqoop1
3、配置环境变量
vim /etc/profile
export SQOOP_HOME=/data/sqoop1
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile
4、其他配置
（1）下载mysql驱动包，mysql-connector-java-5.1.40-bin.jar，把jar包丢到到$SQOOP_HOME/lib下面
（2）接下来修改sqoop的配置文件
cd /data/sqoop1/conf
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
# 指定各环境变量的实际配置
# Set Hadoop-specific environment variables here.
#Set path to where bin/hadoop is available
#export HADOOP_COMMON_HOME=
#Set path to where hadoop-*-core.jar is available
#export HADOOP_MAPRED_HOME=
#set the path to where bin/hbase is available
#export HBASE_HOME=
#Set the path to where bin/hive is available
#export HIVE_HOME=
5、验证是否成功
# 列出所有数据库
sqoop list-databases --connect jdbc:mysql://ip:port --username username --password pwd
# 列出数据库所有表
sqoop list-tables --connect jdbc:mysql://ip:port/dbname --username username --password pwd
链接相关
大数据进阶计划
http://wangxin123.com/2017/02/18/大数据进阶计划/
Sqoop下载地址
http://www-eu.apache.org/dist/sqoop/1.4.6/
Sqoop v1.4.6 文档
http://sqoop.apache.org/docs/1.4.6/index.html
