sqoop的配置与使用

一、sqoop的安装

1.  先将sqoop的压缩包上传至/opt里面，执行解压

tar -zxvf /opt/download/hadoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/soft/sqoop146

2.  进入到conf目录下，复制sqoop-env-template.sh，并进行编辑

cd /opt/soft/sqoop146/conf

cp sqoop-env-template.sh sqoop-env.sh

vim sqoop-env.sh

3.  编辑内容如下：将需要连接的数据库的目录导入

 

 

 4.  复制驱动包进来（需要链接什么数据库就导什么数据库的驱动包）

全部复制到sqoop下的lib包内
这里我先把mysql和oracle的驱动包以及java-json.jar导入；

还有hive的驱动包：
[root@hadoopsingle lib]# cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar ./

还有Hadoop的几个包：

　#拷贝hadoop-common
　[root@chust01 lib]# cp /opt/software/hadoop/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar ./
  #拷贝hadoop-hdfs
  [root@chust01 lib]# cp /opt/software/hadoop/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar ./
  #拷贝hadoop-mapreduce-client-core
  [root@chust01 lib]# cp /opt/software/hadoop/hadoop260/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar    ./

5.  配置环境变量

#sqoop environment
export SQOOP_HOME=/opt/soft/sqoop146
export PATH=$PATH:$SQOOP_HOME/bin

配置完记得source一下，然后sqoop version命令查看下

6.  启动hadoop，测试下sqoop

start-all.sh

#测试命令，连上和登陆数据库，连接上之后会出现当前数据库的列表，否则失败。在虚拟机中中，回车默认是提交符，需要增加\转义符
sqoop list-databases \
--connect jdbc:mysql://192.168.221.140:3306 \
--username root \
--password kb10

 

二、sqoop的使用

　　sqoop一般就是我们用来将mysql等数据库的数据拉到hdfs上，在传入hive，或者反向操作等。就是一个传输数据的工具，本质上还是个命令行工具。核心功能就是导入和导出：

导入数据：MySQL导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库mysql 等

这里以mysql为例进行操作。

2.1、mysql 导出到 hdfs

　　四种导入方式：（具体用那种看需求）

　　2.1.1全量导入

　　将数据库中的某表整张表导入到hdfs上（这里我以mysql中的Bank表，含id，name，money三个字段为例）

-- 全量导入
sqoop import \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--table Bank \
--target-dir '/zyp/bank' \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ','

　　2.1.2导入指定部分的列

　　只要名字和money，不要id列

sqoop import \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--target-dir '/zyp/bank' \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ',' \
--columns name,money \
--table Bank

　　2.1.3导入部分行，select查询结果导入。如果用的双引号，$CONDITIONS前面要加转义符，否则会被识别为shell的变量报错。

　　将查询到的钱数大于1300的数据导入，其余过滤：

-- 按照条件进行查询  将查询到的数据增量导入
sqoop import \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--target-dir '/zyp/bank' \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ',' \
--query 'select * from Bank where money>1300 and $CONDITIONS'

　　2.1.4使用sqoop关键词筛选查询导入数据，使用where子句

sqoop import \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--target-dir '/zyp/bank' \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by ',' \
--table Bank \
--where 'id=2'

 

2.2、hdfs 导出到 mysql

　　这里就再将之前我们上传到hdfs 上的‘zyp/bank’的数据再导出到mysql中的bank表（这个表小写，之前那个表大写）

首先要去mysql那边创建好表（用like的建表语法，只要表结构不要表数据），然后执行以下命令：

sqoop export \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--table bank \
--export-dir '/zyp/bank' \
--num-mappers 1 \
--input-fields-terminated-by ','

　　然后去mysql那边查看下你的新表。

 

2.3、mysql 导出到 hive

　　先启动hive：

hive --service hiveserver2

　　进入到hive创建一张表：

hive> create table hive_bank(
> id string,
> name string,
> money string)
> row format delimited fields terminated by ',';

　　然后执行下面命令，直接甩到hive上：

sqoop import \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--table Bank \
--num-mappers 1 \
--hive-import \
--fields-terminated-by ',' \
--hive-overwrite \
--delete-target-dir \
--hive-table mydemo.hive_bank

　　然后去hive上select一下结果：

　　　　

 

 

2.4、hive 导出到 MySQL

　　1.先去mysql上创建新表   只要表结构不要数据

　　2.找到你hive上所要导出的这张表再hdfs上的位置，这里我是内部表，路径：

/hive/warehouse/mydemo.db/hive_bank

　　3.执行下面命令：

sqoop export \
--connect jdbc:mysql://192.168.192.200:3306/mydemo \
--username root \
--password okok \
--table bank1 \
--export-dir '/hive/warehouse/mydemo.db/hive_bank' \
--num-mappers 1 \
--input-fields-terminated-by ','

　　4.然后去MySQL里查询一下新表bank1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

[root@hadoopsingle lib]# cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar ./