sqoop的安装、配置及使用简介

一、下载sqoop和hadoop

wget http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gz

wget http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz

 

二、解压

tar -zxvf sqoop-1.3.0-cdh3u1.tar.gz

tar -zxvf hadoop-0.20.2-cdh3u1.tar.gz

 

三、设置环境变量

export SQOOP_HOME=XXXXX

 

四、相关jar包拷贝

将Hadoop的hadoop-core-0.20.2-cdh3u1.jar、HBase的hbase-XXX.jar、ZooKeeper的 zookeeper-XXX.jar以及MySQL的mysql-connector-java-XXXX-bin.jar拷贝到Sqoop的lib目录下

 

五、设置远程访问Mysql数据库的权限

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION; 

mysql> flush privileges; 

 

六、sqoop的简单实用

1、查看mysql的数据库

./sqoop list-databases --connect jdbc:mysql://IP:PORT/ --username USER --password PASSWD
./sqoop list-databases --connect jdbc:mysql://IP:PORT/ --username USER -P   (此方式更加安全一点)

2、查看数据库中的表

./sqoop list-tables --connect jdbc:mysql://IP:PORT/database --username USER -P

3、sqoop-import:RMDBS-->DFS

./sqoop import --verbose --fields-terminated-by '#'  --connect jdbc:mysql://localhost:3306/mqs --username root --password 654321 --table dynamic_information --target-dir dynamic_information
_sqoop -m 1

4、sqoop-export:DFS-->RMDBS

./sqoop export --connect jdbc:mysql://localhost:3306/mqs --username root --password 654321 --table dynamic_information_test --export-dir dynamic_information_sqoop3 --input-fields-terminated-by '#'

5、选取一定条件的数据导入DFS

sqoop import --connect jdbc:mysql://IP:PORT/test --username USER --password PASSWD --query 'SELECT * FROM students WHERE age=26 AND $CONDITIONS' -m 1 --target-dir /test/student26

如果--query后面的SQL语句带有where，则一定要加上（and $conditions），否则会出错。

6、使用sqoop将mysql数据库中的数据导入hbase

sqoop import --connect jdbc:mysql://IP:PORT/test --table students --hbase-table sqoop_test --column-family st_info --hbase-row-key id --hbase-create-table --username USER --password PASSWD