Hadoop学习笔记： sqoop配置与使用

sqoop即SQL-to-Hadoop，是一个把数据从关系型数据库导入到Hadoop系统中的工具(HDFS，HIVE和HBase)，也可以将数据从Hadoop导入到关系型数据库。本文以sqoop 1.99.6版本为例演示如何配置和使用sqoop。

一. 安装配置sqoop

1. 从Apache网上下载sqoop http://apache.fayea.com/sqoop/1.99.6/

2. 将压缩包放置到指定目录后，运行tar -zxvf sqoop-1.99.6-bin-hadoop200.tar.gz 解压缩文件

3. 配置sqoop环境变量

修改/etc/profile

　　　export SQOOP_HOME=/usr/local/sqoop-1.99.6
　　　export CATALINA_BASE=$SQOOP_HOME/server
　　　export LOGDIR=$SQOOP_HOME/logs
　　　export PATH=$SQOOP_HOME/bin:$PATH

修改server/conf/catalina.properties，找到common.loader行，把/usr/lib/hadoop/lib/*.jar改成你的hadoop jar包目录，或者在$SQOOP_HOME中建个文件夹例如hadoop_lib，然后将这些jar包cp到此文件夹中，最后将此文件夹路径添加到common.loader属性中。
修改server/conf/sqoop.properties，找到Hadoop configuration directory，将其修改为Hadoop配置文件所在目录，并且替换@LOGDIR@ 和@BASEDIR@为sqoop相对应目录

4. 下载mysql JDBC驱动程序 http://dev.mysql.com/downloads/connector/j/，将其拷贝到$SQOOP_HOME/Server/lib下。

5. 在终端中验证sqoop配置

sqoop2-tool verify

出现以下信息说明sqoop配置成功

Verification was successful.
Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly

6.在终端中启动sqoop服务

sqoop.sh server start

7.进入sqoop命令行

sqoop.sh client
or sqoop2-shell

8. 查看sqoop版本

show version --all

如果出现如下类似信息说明安装配置成功

client version:
  Sqoop 1.99.6 source revision 07244c3915975f26f03d9e1edf09ab7d06619bb8 
  Compiled by root on Wed Apr 29 10:40:43 CST 2015
server version:
  Sqoop 1.99.6 source revision 07244c3915975f26f03d9e1edf09ab7d06619bb8 
  Compiled by root on Wed Apr 29 10:40:43 CST 2015
API versions:
  [v1]

二. 使用sqoop

mysql数据库脚本如下

create database hadoop;

create table hadoop.widgets(id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
widget_name VARCHAR(64) NOT NULL,
price DECIMAL(10,2),
design_date DATE,
version INT,
design_comment VARCHAR(100));

INSERT INTO hadoop.widgets VALUES (NULL, 'sprocket', 0.25, '2010-02-10',1, 'Connects two gizmos');
INSERT INTO hadoop.widgets VALUES (NULL, 'gizmo', 4.00, '2009-11-30', 4, NULL);
INSERT INTO hadoop.widgets VALUES (NULL, 'gadget', 99.99, '1983-08-13', 13, 'Our flagship product');