通过sqoop来传输mysql/oracle/vertica数据至HBASE

首先要注意将连接用的jar包,放到sqoop目录下,我的是/var/lib/sqoop

如果没有主键,则要加上-m 1

export正确的jdk目录

当做key的列必须唯一存在,不然报错

--mysql测试
--查看数据库信息
sqoop list-databases --connect jdbc:mysql://[ip]:[port]/[库名] --username [用户名] --password [密码]
--导入数据
JAVA_HOME=/usr/java/jdk1.8.0_111/
export JAVA_HOME
sqoop import --connect jdbc:mysql://[ip]:[port]/[库名] --username [用户名] --password [密码] --table [表名] --hbase-create-table --hbase-table [hbase表名] --column-family [hbase表列头] --hbase-row-key [当做key的列]

 

--vertica测试
JAVA_HOME=/usr/java/jdk1.8.0_111/
export JAVA_HOME
sqoop import  --driver com.vertica.jdbc.Driver --connect jdbc:vertica://[ip]:[port]/[库名]?searchpath=[schema名] --username [用户名] --password [密码]   --hbase-create-table --hbase-table [hbase表名] --column-family [hbase表列头] --hbase-row-key [当做key的列]-m 1 

 

--oracle测试
--注意表名与列名大写(与数据库一致)
--查看数据库信息
sqoop list-databases --connect jdbc:oracle:thin:@[ip]:[port]/[库名] --username [用户名] --password [密码]
--导入数据
JAVA_HOME=/usr/java/jdk1.8.0_111/
export JAVA_HOME
sqoop import --connect jdbc:oracle:thin:@[ip]:[port]/[库名] --username [用户名] --password [密码] --table [表名]--hbase-create-table --hbase-table [hbase表名] --column-family [hbase表列头] --hbase-row-key [当做key的列] -m 1