前提 配置hadoop配置文件
前提 启动hadoop
配置hive
改名进入sqoop/conf 增加环境变量
tar xf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/
cd /usr/local/src/
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
cd /usr/local/src/sqoop/conf/
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh #添加配置
export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HBASE_HOME=/usr/local/src/hbase
export HIVE_HOME=/usr/local/src/hive
配置sqoop变量
vi /etc/profile.d/sqoop.sh
export SQOOP_HOME=/usr/local/src/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
# 保存以上配置使配置文件生效
source /etc/profile.d/sqoop.sh
echo $PATH #验证
cp /opt/software/mysql-connector-java-5.1.46.jar /usr/local/src/sqoop/lib/
在master上执行启动sqoop集群
su - hadoop
start-all.sh
# 执行以上命令后要确保master上有NameNode、SecondaryNameNode、ResourceManager进程，slave节点上要有DataNode、NodeManager进程
sqoop list-databases --connect jdbc:mysql://master:3306 --username root -P #查看sqoop能否发现master里的5个数据库
# 如果以上命令执行后能看到以下5个数据库则表示启动成功，且能正常连接数据库
information_schema
hive
mysql
performance_schema
sys
连接hive配置(在master上执行）
cp /usr/local/src/hive/lib/hive-common-2.0.0.jar /usr/local/src/sqoop/lib/
mysql -uroot -pHuawei123$
mysql> create database sample;
mysql> use sample;
mysql> create table student(number char(9) primary key, name varchar(10));
mysql> insert into student values('01','zhangsan'),('02','lisi'),('03','wangwu');
mysql> select * from student;
+--------+----------+
| number | name |
+--------+----------+
| 01 | zhangsan |
| 02 | lisi |
| 03 | wangwu |
+--------+----------+
3 rows in set (0.00 sec)
mysql> quit
# 如果能看到以上三条记录则表示数据库中表创建成功
# 在 Hive 中创建 sample 数据库和 student 数据表
hive
hive> create database sample;
hive> use sample;
hive> create table student(number STRING,name STRING);
hive> exit; #mysql 创建数据后
将mysql里的数据导入进hive里
sqoop import --connect jdbc:mysql://master:3306/sample --username root --password Password123! --table student --fields-terminated-by '|' -- delete-target-dir --num-mappers 1 --hive-import --hive-database sample --hive-table student
查看
hive
hive> select * from sample.student;
OK
01|zhangsan NULL
02|lisi NULL
03|wangwu NULL
Time taken: 1.556 seconds, Fetched: 3 row(s)
hive> exit;
# 能看到以上内容则表示将数据从mysql导入到hive成功了。
hive导入mysql
首先在mysql里创建对应的表
create table fox(number char(9) primary key, name varchar(10));
导入对应表
sqoop export --connect "jdbc:mysql://master:3306/sample?useUnicode=true&characterEncoding=utf-8" --username root --password Huawei123$ --table fox --input-fields-terminated-by '|' --export-dir /user/hive/warehouse/sample.db/student/*
mysql> select * from fox
-> ;
+--------+----------+
| number | name |
+--------+----------+
| 01 | zhangsan |
| 02 | lisi |
| 03 | wangwu |
+--------+----------+
3 rows in set (0.00 sec)
mysql>
# 能看到以上内容则表示从hadoop集群的hive中导出数据到mysql数据库成功。
sqoop常用命令
列出所有数据库
[hadoop@master src]$ sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password Huawei123$
连接 MySQL 并列出 sample 数据库中的表
[hadoop@master src]$ sqoop list-tables --connect "jdbc:mysql://master:3306/sample?useSSL=false" --username root --password Huawei123$
将关系型数据的表结构复制到 hive 中,只是复制表的结构，表中的内容没有复制过去
[hadoop@master src]$ sqoop create-hive-table --connect jdbc:mysql://master:3306/sample --table student --username root --password Huawei123$ --hive-table mqy
hive导入表内容
[hadoop@master src]$ sqoop import --connect jdbc:mysql://master:3306/sample --username root --password Huawei123$ --table student --fields-terminated-by '|' --delete-target-dir --num-mappers 1 --hive-import --hive-database default --hive-table test
从mysql中导出表内容到HDFS文件中
[hadoop@master src]$ sqoop import --connect jdbc:mysql://master:3306/sample --username root --password Password123! --table student --num-mappers 1 --target-dir /user/test
查看hdfs的文件
[hadoop@master src]$ hdfs dfs -ls /user/test
Found 2 items
-rw-r--r-- 3 hadoop supergroup 0 2022-04-29 17:05 /user/test/_SUCCESS
-rw-r--r-- 3 hadoop supergroup 30 2022-04-29 17:05 /user/test/part-m-00000
[hadoop@master src]$ hdfs dfs -cat /user/test/part-m-00000
01,zhangsan
02,lisi
03,wangwu
[hadoop@master src]$
