sqoop安装与使用
- 1、上传解压
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/
- 2、修改配置文件
切换到sqoop配置文件目录
cd /usr/local/soft/sqoop-1.4.7/conf
复制配置文件并重命名
cp sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh
编辑配置文件，并加入以下内容
export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-3.1.2
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-3.1.2/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-2.2.7
export HIVE_HOME=/usr/local/soft/hive-3.1.2
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.5.7/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7
切换到bin目录
cd /usr/local/soft/sqoop-1.4.6/bin
修改配置文件，注释掉没用的内容
vim configure-sqoop
- 3、修改环境变量
vim /etc/profile
source /etc/profile
- 4、添加MySQL连接驱动
从HIVE中复制MySQL连接驱动到$SQOOP_HOME/lib
cp /usr/local/soft/hive-3.1.2/lib/mysql-connector-java-8.0.29.jar /usr/local/soft/sqoop-1.4.7/lib/
- 5、测试
sqoop version
配置成功
测试MySQL连通性
sqoop list-databases -connect jdbc:mysql://master:3306/ -username root -password 123456
- 案例
将MySQL中表的数据导入到HDFS中
方式一：命令行
sqoop import \
--append \
--connect jdbc:mysql://master:3306/bigdata \
--username root \
--password 123456 \
--table students \
--m 1 \
--split-by id \
--target-dir /wll/data/ \
--fields-terminated-by ','
方式二：编写脚本执行脚本
import
--append
--connect
jdbc:mysql://master:3306/bigdata
--username
root
--password
123456
--table
student
--m
1
--split-by
id
--target-dir
/wll/data/
--fields-terminated-by
','
