Sqoop1的导入导出

 

 

Sqoop1 和 Sqoop2 的区别

 

# 版本上

 

　　Sqoop1： 1.4.x

　　Sqoop2： 1.99.x

 

# 架构上

 

　　Sqoop1 使用 Sqoop客户端直接提交的方式（命令、将命令封装在脚本中）

　　Sqoop2 引入了 Sqoop Server，对Connector实现了集中的管理

 

# 访问方式

 

　　Sqoop1 通过Cli控制台方式进行访问

　　Sqoop2 通过 rest api、java api、web ui以及cli控制台方式进行访问

 

# 安全性

 

　　Sqoop1 在命令或脚本中指定用户数据库名及密码

　　Sqoop2 是通过Cli方式访问，在交互过程界面中，输入的密码信息会被看到，同时 Sqoop2 引入了基于角色的安全机制，Sqoop2比Sqoop多了一个Server端。

 

# 综述

 

　　Sqoop1 架构简单明了，部署即用，使用门槛比较低，但是耦合性强，用户密码暴露不安全。

　　Sqoop2 服务端部署，运行，提供 cli、rest api，webui 等入口，connector集中管理，rdbms 账户控制更安全，但是sqoop2仅负责数据的读写操作，架构相对复杂

　　

Sqoop1 和 Sqoop2 的架构图

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Sqoop1 的配置

 

解压安装之后，修改配置文件（conf/sqoop-env.sh）

 

?

#Set path to where bin/hadoop is available

#export HADOOP_COMMON_HOME=

export HADOOP_COMMON_HOME= /data/hadoop/hadoop < /span >

#Set path to where hadoop-*-core.jar is available

#export HADOOP_MAPRED_HOME=

export HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME /share/hadoop/mapreduce/ < /span >

#set the path to where bin/hbase is available

#export HBASE_HOME=

export HBASE_HOME= /data/hbase/hbase < /span >

#Set the path to where bin/hive is available

#export HIVE_HOME=

export HIVE_HOME= /data/hive/apache-hive < /span >

#Set the path for where zookeper config dir is

#export ZOOCFGDIR=

export ZOOCFGDIR= /data/zookeeper/apache-zookeeper

< /span >

　　

 

 

 

 

Sqoop1 导入（MySQL导入到HDFS）

 

 

注意： 需要启动 MySQL、ZK、Hadoop

 

 

# demo1：table

 

 

?

# sqoop1 导入命令 mysql=>hdfs

bin /sqoop import

# mysql驱动类

--driver com.mysql.cj.jdbc.Driver< /span >

# 连接字符串

--connect jdbc:mysql: // 192.168.56.1< /span >/dbName< /span >?serverTimezone=GMT%2B8< /span >

# 从哪张表导数据

--table tbName< /span >

# mysql账号 

--username root< /span >

# mysql 密码

--password 123456< /span >

--verbose

# 目标目录（HDFS）

--target- dir = /sqoop/a_users

< /span >

　　

 

# demo2：query

 

 

?

# 导入数据

# --query和--table是互斥的;

bin /sqoop import

--connect jdbc:mysql: // 192.168.56.1< /span >/dbName< /span >?serverTimezone=GMT%2B8< /span >

--username root< /span >

--password 123456< /span >

--verbose

# 获取记录条数

--fetch-size 30< /span >

# SQL 语句

# $CONDITIONS sql语句执行的条件,这个条件由sqoop自己控制

--query  'select * from tbName where $CONDITIONS'

# 按照 id 切分

#--split-by;拆分的这一列不能重复，一般是主键

-- split -by  id < /span >  

# 目标目录（HDFS）

--target- dir = /sqoop/a_users

< /span >

　　

 

 

# demo3：将数据库账号、密码、SQL语句封装到一个文件中

 

 

 

?

# 新建一个文件;(一行一个,使用#注释);文件名随便写

import

--connect jdbc:mysql: // 192.168.56.1< /span >/dbName< /span >?serverTimezone=GMT%2B8< /span >

--username root< /span >

--password 123456< /span >

--verbose

--fetch-size 30< /span >

--query  'select * from a_users where $CONDITIONS'

-- split -by  id < /span >

--target- dir = /sqoop/a_users

< /span >

 

执行封装了Sqoop命令的文件

?

bin /sqoop --options- file  /root/fileName .txt

< /span >

　　

 

 

# demo4：命令过长可以使用反斜杠换行

 

 

 

?

bin /sqoop import --connect jdbc:mysql: //192 .168.56.1:3306 /dbName ?serverTimezone=GMT%2B8 \< /span >< /strong >

--username root --password 123456 --verbose --fetch-size 30 --query  'select * from tbName where $CONDITIONS' -- split -by  id  \< /span >< /strong >

--target- dir = /sqoop/path

　　

 

 

 

Sqoop1 导入（MySQL导入到 Hive）

 

 

注意：启动Hive

 

 

# 配置

 

 

　　将 $HIVE_HOME/lib 下的 hive-common-x.x.x.jar 拷贝到 $SQOOP_HOME/lib 下

 

 

 

?

# fields-terminated-by;列的分隔符

 

bin /sqoop import --connect jdbc:mysql: //192 .168.56.1 /userscenter ?serverTimezone=GMT%2B8 \

--username root --password 123456 --verbose --fetch-size 30 --query  'select * from a_demo_dynasty where $CONDITIONS' -- split -by  id \

--target- dir = /sqoop/a_dynasty \

--fields-terminated-by  ',' \

--hive- import \

--hive-table mydata.a_dynasty  --hive-overwrite

　　

 

 

Sqoop1 全表导入到HDFS

 

 

?

bin /sqoop import -all-tables  --connect jdbc:mysql: //192 .168.56.1:3306 /dbName ?serverTimezone=GMT%2B8 \

--username root --password 123456 --verbose --fetch-size 30 \

--warehouse- dir = /sqoop/a_dynasty