sqoop1.99.4安装与简介
1.什么是sqoop
clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具
2.版本及其区别
现在分为sqoop1和sqoop2
1）架构图（sqoop1和hadoop2完全不兼容）
2）优缺点：
sqoop1的架构，仅仅使用一个sqoop客户端，sqoop2的架构，引入了sqoop server集中化管理connector，以及rest api，web，UI，并引入权限安全机制。
sqoop1优点架构部署简单
sqoop1的缺点命令行方式容易出错，格式紧耦合，无法支持所有数据类型，安全机制不够完善，例如密码暴漏，安装需要root权限，connector必须符合JDBC模型
sqoop2的优点多种交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的链接安装在sqoop server上，完善权限管理机制，connector规范化，仅仅负责数据的读写。
sqoop2的缺点，架构稍复杂，配置部署更繁琐。
sqoop服务器端存在着2个connector，每个connector既可以充当FORM也可以充当TO，由connector组成link，再由FROM link和TO link组成一个JOB
sqoop的底层实现是MR
sqoop客户端有shell、rest API和java APIs三种方式。rest API是基于TOMCAT服务器的。
三个组件的唯一标示符是 ID。
3.编译
sqoop2虽然部署繁琐了，但是必须是趋势。
官网上提供了binary包和源码包，
（我比较疑惑的是binary包中有pom.xml，也就是说可以编译，当然编译出来的就是这样一个binary；源码包不挂src字样）
下载sqoop-1.99.4.tar.gz，以及依赖的maven等。在README.txt中有编译指示：mvn package -Pbinary -Dhadoop.profile=100；
sqoop2已经对hadoop的版本支持的很好，支持hadoop1和hadoop2，不过编译的时候要指定，所以命令应该为：
mvn package -Pbinary -Dhadoop.profile=200 -DskipTests（我习惯性的跳过测试阶段）
1.99.4已经没有了1.99.3中maven插件版本的bug,不过要更改JDK，使它和自己环境的JDK版本一致;
在包中的pom.xml中，默认是1.6，我的环境中JDK是1.7，则改为1.7
在编译的过程中总是卡在一个生成tomcat包中的地方
始终过不去，更改网络不行，而且本身这个链接就可以连接到，所以应该一个BUG或者自己的某些原因
我的解决办法是自己下载对应版本然后手动改名称后放到dist/target包下面就可以了
4.安装
安装还是比较简单的，而且docs中已经给了官方步骤以及要求（最大的要求就是HADOOP）
1）.下载解压
... ...
2）.修改安装目录下的server/conf中的sqoop.properties，在132行把hadoop配置文件路径替换成自己的
3）.修改安装目录下的server/conf中的catalina.properties，把属性common.loader值修改成自己的目录
（我把sqoop目录下中server/lib/的jar包也包含进去了，官网没让包含，但是不包含后面会出问题）
4）.把JDBC的驱动拷到${SQOOP_HOME}/lib/目录下（默认没有lib文件夹，自己创建，官网说了）
5）.把sqoop加入环境变量
... ...
6）.启动：sqoop2-server start
停止：sqoop2-server stop
（默认sqoop中bin目录下的脚步无执行权限的，要先给权限。官网也没说-_-!)
7）.进入shell：sqoop2 shell
8）.测试
9）.实例
HDFS上建立文件，MySQL中建表
建立Link
建立 job
执行 job
过一会儿就可以查看结果了，可以使用 status job -j 1 来查看进度
结果：
自己在编译的时候总是卡在生成tomcat的步骤上，浪费了不少时间，不过也带了一些好处，就是让我把doc一个单词一个单词的看完了，颇有收获
不过这个doc的缺点是没有给出比如利用sqoop在MySQL和hive之间传递数据的帮助文档和实例。没有这些实例就需要自己去摸索和百度谷歌了。
还有一点就是Apache的老毛病，doc的更新慢，也可以说是doc有错，而且不止一处，比如：
这是给出的更新Link的官方文档里面的解释，但实际中:
缩写好像在1.99.3中是 -x，但是1.99.4是 -l 。
MD，其实我最初的目的是把hive中的数据通过sqoop导出到mysql中，供查询使用，看了好几遍API以及看遍了亲爱的百度的文章，都没有能实现目的的方法
只有Google的时候才看到老外遇到同样的问题，认同了心里面不想认同的事实：sqoop2只支持传统数据库到HDFS之间的传输。没有hive和hbase！！
现在也明白了为什么sqoop在Apache官网上同时存在1.4.5和1.99.4两个版本的下载和文档。
看到 not feature complete ，想哭的心都有了。
采纳的答案是：
看来问题老外采纳了换回sqoop1的方案。不过使用sqoop2仍有方法
不过可以看到，是 less efficient 的，总归可以实现。
而 hive 将数据导出的方法有三种：http://blog.csdn.net/fuyangchang/article/details/5301839
分别是导出到另一张表中，导出到本地系统，导出到HDFS。对，到HDFS上中转一下... ...
导出到HDFS：
hive> insert overwrite directory '/admln/sqoop2'
> select * from test;
还有一个值得注意的知识点是：JDBC链接的是数据库中的表；HDFS是基于目录的。
