SQOOP

SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.安装SQOOP

1.1先将SQOOP文件放到/usr/local/下
1.2解压SQOOP
　　执行命令：tar -zxvf sqoop-1.4.3.bin_*******
1.3改名字
　　执行命令：mv sqoop-1.4.3.bin_******* sqoop
1.4设置环境变量
　　执行命令：vi /etc/profile

export SQOOP_HOME=/usr/local/sqoop
export PATH=****:$SQOOP_HOME/bin:******
source /etc/profile

 

1.5操作

　　执行命令：cd bin
　　               sqoop help
1.6将mysql与SQOOP联系起来，需要将mysql的驱动复制到SQOOP的lib文件下
　　执行命令：

cd ..    //退出bin
cp ../hive/lib/mysql-connection-java-5.1.10.jar ./lib/
cd lib/
ls

2.把数据从mysql导入到hdfs(默认是/user/<username>)中
　　sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import
　　sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6

3.把数据从hdfs导出到mysql中
　　sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'

4.设置为作业，运行作业
　　sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import

5. 导入导出的事务是以Mapper任务为单位。