Sqoop

简介

Apache开源软件，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递。

• 1.数据吞吐量大：依赖hadoop集群可进行大批量数据集成。
• 2.操作有技术要求：sqoop操作没有可视化设计器，对使用人员有较专业的技术要求。
• 3.多种交互方式：命令行，web UI，rest API。
• 4.部署不方便：sqoop依赖大数据集群，使用sqoop要求数据传输的的源要与大数据集群的所有节点能进行通信。
• 5.适用场景：适用于能与大数据集群直接通信的关系数据库间的大批量数据传输。

SQOOP安装及使用

SQOOP安装

1、上传并解压

解压到上级目录

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../

改名

mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7

2、修改配置文件

# 切换到sqoop配置文件目录
cd /usr/local/soft/sqoop-1.4.7/conf
# 复制配置文件并重命名
cp sqoop-env-template.sh sqoop-env.sh

# vim sqoop-env.sh 编辑配置文件，并加入以下内容

export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-3.1.2
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-3.1.2/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-2.2.7
export HIVE_HOME=/usr/local/soft/hive-3.1.2
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.5.7/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7

# 切换到bin目录
cd /usr/local/soft/sqoop-1.4.7/bin
# vim configure-sqoop 修改配置文件，注释掉没用的内容（就是为了去掉警告信息）

3.验证sqoop

#进入sqoop目录下
cd /usr/local/soft/sqoop-1.4.7/
#查询版本
./bin/sqoop version

4.修改环境变量

vim /etc/profile
# 将sqoop的目录加入环境变量

加载环境变量
source /etc/profile

5.添加MySQL连接驱动

# 从HIVE中复制MySQL连接驱动到$SQOOP_HOME/lib
cp /usr/local/soft/hive-3.1.2/lib/mysql-connector-java-8.0.29.jar /usr/local/soft/sqoop-1.4.7/lib/

6.测试

# 打印sqoop版本
sqoop version

# 测试MySQL连通性
sqoop list-databases -connect jdbc:mysql://master:3306 --username root -password 123456