Sqoop 工具使用
Sqoop 是什么及安装
Hadoop sqoop
Apache sqoop (SQL to Hadoop)
Sqoop is a tool designed to transfer data between Hadoop and relational databases or mainframes. You can use Sqoop to import data from a relational database management system (RDBMS) such as MySQL or Oracle or a mainframe into the Hadoop Distributed File System (HDFS), transform the data in Hadoop MapReduce, and then export the data back into an RDBMS.
Sqoop是一种用于在Hadoop和关系数据库或大型机之间传输数据的工具。你可以使用Sqoop从一个关系数据库管理系统(RDBMS)中导入数据，比如MySQL或Oracle，或者一个大型机到Hadoop分布式文件系统(HDFS)，在Hadoop MapReduce中转换数据，然后将数据导出到RDBMS中。
sqoop 安装
1.解压
2.配置sqoop-env.sh文件
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
#Set the path to where bin/hive is available
export HIVE_HOME=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6
3.拷贝 MySQL 连接 jar 包到 lib 目录下
4.使用工具
# 帮助文档
bin/sqoop help
bin/sqoop list-databases --help
# 连接数据库
bin/sqoop list-databases \
--connect jdbc:mysql://hostname-ubuntu:3306 \
--username root \
--password ubuntu
Imports( RDBMS > HDFS )
底层通过JDBC连接数据库，通过生成 JAVA (只有 map 程序) 代码，编译成 jar ，经过 YARN 执行
#执行命令(五要素)
bin/sqoop import \
--connect jdbc:mysql://hostname-ubuntu:3306/test \
--username root \
--password ubuntu \
--table user \
--target-dir /user/cen/sqoop/imp_user \
# 注意文件夹不能存在
# 若此项不设置默认会在 /user/cen/tablename/ 创建文件夹
# 可添加以下选项解决
# 删除目标目录
--delete-target-dir \
# 选择列
--columns id,name \
# 增加查询条件
--where "age = '18'" \
# 设置压缩
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec
# 设置输出的分隔符
--fields-terminated-by '\t' \
# 设置map数目
--num-mappers 1 \
# 设置文件存储格式(默认是textfile)
--as-parquetfile \
# 设置直接从 MySQL 直接导入(不经过MapReduce)
--direct
#日志分析
Running Sqoop version: 1.4.5-cdh5.3.6 说明执行版本
Setting your password on the command-line is insecure. Consider using -P instead. 这样使用密码是不安全的，推荐使用-p的方式
Preparing to use a MySQL streaming resultset. 使用MySQL流导出数据
Beginning code generation 开始生成Java代码
Executing SQL statement: SELECT t.* FROM `user` AS t LIMIT 1 执行SQL查询语句
Executing SQL statement: SELECT t.* FROM `user` AS t LIMIT 1 执行SQL查询语句
HADOOP_MAPRED_HOME is /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6 Hadoop的目录是。。。
Note: /tmp/sqoop-cen/compile/55ff43412ccc6eae25cf74ff6a4b119a/user.java uses or overrides a deprecated API. 生成jar
Note: Recompile with -Xlint:deprecation for details.
Writing jar file: /tmp/sqoop-cen/compile/55ff43412ccc6eae25cf74ff6a4b119a/user.jar 写入jar文件
It looks like you are importing from mysql.
This transfer can be faster! Use the --direct 这个转换可以更快，使用直接模式
option to exercise a MySQL-specific fast path.
Setting zero DATETIME behavior to convertToNull (mysql)
Beginning import of user 开始导入数据
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mapred.jar is deprecated. Instead, use mapreduce.job.jar 使用mapreduce的jar包
使用SQL查询语句(无需 tablename 无需选择列 无需where )
bin/sqoop import \
--connect jdbc:mysql://hostname-ubuntu:3306/test \
--username root \
--password ubuntu \
--query 'select id from user where $CONDITIONS' \
--target-dir /user/cen/sqoop/imp_user_query \
--split-by id
-
错误：When importing query results in parallel, you must specify --split-by.
-
增加：--split-by id
-
错误：Query [select id from user] must contain '$CONDITIONS' in WHERE clause.
-
解决：--query 'select id from user where $CONDITIONS' \
增量数据导入Incremental import（只导入新增加的）
1. query 对时间戳进行条件查询（更好用）
where createtime => 20170721000000 and createtimt < 201707220000
2. 使用 sqoop 的参数
--check-column
change 根据哪一个字段进行查询
--incremental
'append' or 'lastmodified' 追加方式
--last-value
check column 查询的开始值
Export( HDFS > RDBMS )( Hive > RDBMS )
底层通过JDBC连接数据库，通过生成 JAVA (只有 map 程序) 代码，编译成 jar ，经过 YARN 执行
#执行命令(五要素)
bin/sqoop export \
--connect jdbc:mysql://hostname-ubuntu:3306/test \
--username root \
--password ubuntu \
--table user \
--export-dir /user/cen/sqoop/imp_user
Import Hive table
从 RDBMS 导入到 Hive 表中，底层实现：正常 Import > HDFS > load
# 关系型数据库 4 要素(IP+database/username/pw/table) + Hive 4 要素(import/database/table/分隔符)
bin/sqoop import \
--connect jdbc:mysql://hostname-ubuntu:3306/test \
--username root \
--password ubuntu \
--table user \
--hive-import \
--hive-database default \
--hive-table user \
--fields-terminated-by '\t' \
--delete-target-dir \
# 需要缓冲目录，若目录存在则删除
--create-hive-table #若表不存在，需要创建的话
通过文件执行 sqoop 命令
！！格式如下：
#这是注释！！
bin/sqoop
import
--connect
jdbc:mysql://hostname-ubuntu:3306/test
--username
root
--password
ubuntu
--table
user
--target-dir
/user/cen/sqoop/imp_user
执行：
sqoop --options-file /opt/datas/xxx.xx
