Sqoop：
关系型数据库(mysql/oracle) <======> hadoop(hdfs/hive/hbase)
关系型数据库向hadoop组件进行数据导入导出的工具
底层使用MR技术，适用于大数据迁移
将sqoop命令编译成Mr作业，提交给hadoop
mysql ===> hadoop 导入
hadoop ==> mysql 导出
sqoop2不适用于生产部署
sqoop1.4.7：
==================================
准备：启动hadoop(hdfs && yarn)和mysql
1、解压
tar -xzvf
2、符号链接
ln -s
3、环境变量
sudo nano /etc/profile
4、环境变量生效
source /etc/profile
5、sqoop version
6、将mysql驱动放置在sqoop的lib目录/soft/sqoop/lib
mysql 5.5 ==> mysql-connector-java-5.1.17
mysql 5.6 ==> mysql-connector-java-5.1.41
7、在mysql中准备两张表，orders/customers
orders customers
+-----+---------+-------+------+ +-----+----------+------+
| oid | orderno | price | cid | | id | name | age |
+-----+---------+-------+------+ +-----+----------+------+
| 1 | no001 | 12.3 | 7 | | 1 | jerry | NULL |
| 2 | no002 | 18.8 | 4 | | 2 | tomas | NULL |
| 3 | no003 | 20 | 3 | | 3 | tomason | NULL |
| 4 | no004 | 50 | 7 | | 4 | tomson | NULL |
| 5 | no005 | 23.1 | 2 | | 5 | tomasLee | NULL |
| 6 | no006 | 39 | 3 | | 6 | tom6 | NULL |
| 7 | no007 | 5 | 2 | | 7 | tom7 | NULL |
| 8 | no008 | 6 | 1 | | 8 | tom8 | NULL |
| 9 | no009 | 6 | 11 | | 10 | jerry | NULL |
| 11 | no010 | 999 | 8 | | 11 | jerry011 | 0 |
| 12 | no001 | 100 | 8 | | 111 | 222 | NULL |
| 13 | no011 | 11 | 11 | | 123 | 44444 | NULL |
+-----+---------+-------+------+ +-----+----------+------+
8、修改配置文件
1)将/soft/sqoop/conf/sqoop-env-template.sh
将其重命名为sqoop-env.sh
2)修改sqoop-env.sh，添加如下配置
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/soft/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/soft/hadoop
#set the path to where bin/hbase is available
export HBASE_HOME=/soft/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/soft/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/soft/zk/conf
注意事项：
sqoop可以连接windows的mysql =====> URL地址需要写为VMnet8的网卡地址eg:192.168.xx.1
关闭windows防火墙，以免3306端口被屏蔽
可以连接centos的mysql =====> URL地址写为s101地址
防火墙已关闭
mysql 5.5 ==> mysql-connector-java-5.1.17
mysql 5.6 ==> mysql-connector-java-5.1.41
权限拒绝问题：
grant all PRIVILEGES on *.* to root@'s201' identified by 'root';
解决：在mysql给主机授予权限
grant all PRIVILEGES on *.* to root@'' identified by 'root';
sqoop命令：
================================
sqoop import
export
job
list-databases //list-databases
list-tables //list-tables
命令查看帮助
sqoop list-databases --help //sqoop list-databases --help
常用sqoop使用方法：
1、将sqoop命令做成脚本
2、将sqoop命令做成job，以便下次使用
1、sqoop列出mysql数据库
sqoop list-databases --connect jdbc:mysql://192.168.136.1:3306 --username root --password root
2、sqoop列出数据库中的表
sqoop list-tables --connect jdbc:mysql://192.168.136.1:3306/day21 --username root --password root
3、将mysql数据导入到hdfs
sqoop import --connect jdbc:mysql://192.168.136.1:3306/day21 --username root -P --table orders --target-dir /user/centos/orders -m 2
3.1、将mysql数据导入到hdfs-指定字段分隔符
sqoop import --connect jdbc:mysql://192.168.136.1:3306/day21 --username root -P --table orders --target-dir /user/centos/orders -m 2 --fields-terminated-by '\t' --delete-target-dir
3.2、指定对应列导入到hdfs
sqoop import --connect jdbc:mysql://192.168.136.1:3306/day21 --username root -P --table orders --target-dir /user/centos/orders -m 2 --fields-terminated-by '\t' --delete-target-dir --columns oid,orderno,price
注意：数据导入到hive，需要将hive-site.xml文件拷贝到sqoop/conf目录
4、将mysql数据导入到hive表
1)创建hive表
sqoop import --create-hive-table --connect jdbc:mysql://192.168.136.1:3306/day21 --username root -P --table orders --hive-table orders -m 2 --fields-terminated-by '\t'
2)导入数据
sqoop import --hive-import --connect jdbc:mysql://192.168.136.1:3306/day21 --username root -P --table orders --hive-table orders -m 2 --fields-terminated-by '\t' --delete-target-dir
导入时可以在当前目录查看生成的代码
sqoop import --help
--columns <col,col,col...> //MySQL列指定
--table <table-name> //指定表名
--compression-codec <codec> //压缩编解码器
--delete-target-dir //删除目标目录，以免出现文件已存在异常
-m //指定mapper数量
--target-dir <dir> //指定hdfs导入路径
-P //隐式指定密码，需要重新输入
--fields-terminated-by //指定字段分隔符，默认","
--create-hive-table //创建hive表
--external-table-dir <hdfs path> //外部表路径
--hive-database <database-name> //hive数据库
--hive-delims-replacement <arg> //行分隔符
--hive-drop-import-delims
--hive-import //导入到hive表是指定的参数
--hive-overwrite
--hive-partition-key <partition-key> //指定hive分区字段
--hive-partition-value <partition-value> //指定hive分区值
--hive-table <table-name> //指定hive导入表
--map-column-hive <arg> //hive列映射
