1.sqoop概述
sqoop是Apache旗下一款hadoop和关系数据库服务器之间传送数据的工具；
核心的功能：
导入，迁入（从关系型数据库-->hdfs hive hbase）
导出，迁出（从hdfs hive hbase-->关系型数据库）
导入数据：mysql，Oracle导入数据到hadoop的HDFS，hive，hbase等数据存储系统；
导出数据：从hadoop的文件系统中导出数据到关系型数据库mysql等；sqoop的本质还是一个命令行工具，和HDFS，hive相比，并没有什么高深的理论；
2.工作机制
将导入或导出命令翻译成MapReduce程序来实现，在翻译出MapReduce中主要是对inputfromat和outputformat进行定制；
3.安装
3.1 前提概述
将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？
HDFS，MapReduce，yarn，zookeeper，hive，hbase，mysql；
如果你的sqoop工具将来要进行hive或者hbase等等的系统与mysql实现交互，你安装的sqoop软件的节点一定要包含以上你要使用的集群或者软件系统的安装包；
3.2 软件下载
下载地址：http://mirrors.hust.edu.cn/apache/
3.3 安装步骤
3.3.1 上传并解压文件
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
3.3.2 重命名sqoop目录
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
3.3.3 进入到sqoop的conf目录下，将sqoop-env-template.sh文件更名为sqoop-env.sh文件
mv sqoop-env-template.sh sqoop-env.sh
3.3.4 修改sqoop-env.sh文件
vim sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/module/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/module/hadoop
#set the path to where bin/hbase is available
export HBASE_HOME=/opt/module/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/opt/module/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/module/zookeeper/conf
3.3.5 将mysql数据库连接的驱动包复制到sqoop安装的lib目录下
3.3.6 配置系统环境变量
vim /etc/profile
export SQOOP_HOME=/opt/module/sqoop
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile #刷新文件
3.3.7 验证是否安装成功
sqoop-version
posted on
