Sqoop 安装配置

1.下载

Sqoop 安装包下载地址：Sqoop 官网

 选择自己集群合适的版本。

2.解压

tar  -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

改个名称：

 mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

3.添加环境变量

vi /etc/profile

#SQOOP_HOME
export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

保存退出，使环境变量立即生效 

source /etc/profile

4.配置 Sqoop 环境变量文件

1.切换到 Sqoop 配置文件目录

cd $SQOOP_HOME/conf

2.复制 Sqoop 环境变量模板文件

cp sqoop-env-template.sh sqoop-env.sh 

3.编辑文件，指定相关路径

vi sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=$HADOOP_HOME

#Set path to where hadoop-*-core.jar is available
#export HADOOP_MAPRED_HOME=

#set the path to where bin/hbase is available
export HBASE_HOME=$HADOOP_HOME

#Set the path to where bin/hive is available
export HIVE_HOME=$HIVE_HOME

5. MySQL 驱动

拷贝 MySQL 驱动到 Sqoop 中的 lib 目录中。

cp /usr/mysql/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar $SQOOP_HOME/lib

6. 拷贝 Hive 文件

为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的 lib 目录中。

cp /usr/hive/apache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar  $SQOOP_HOME/lib

7.验证

输入 sqoop version，出现如下版本信息表示安装成功。

现在来测试功能是否可以正常使用：

展示 MySQL 中 sys 库下的所有表。

sqoop list-tables \
--connect jdbc:mysql://localhost:3306/sys \
--username root \
--password xxxxxx@123A

能查出表数据并且无报错则正常。

至此，我们的 Sqoop 就已经安装完成啦。

8.去除警告信息

使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。 搜索runtime  /runtime

# 切换到 Sqoop 目录
cd $SQOOP_HOME/bin

# 编辑文件
vi configure-sqoop

再次输入 sqoop version 查看：