运行sqoop2未能启动

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

 

1、下载sqoop2的某个版本sqoop-1.99.6-bin-hadoop200.tar

2、解压缩至/usr/local/sqoop 

3、修改文件server/conf中的catalina.properties，修改其中的common.loader属性，

将hadoop安装文件夹下share文件夹中的所有jar包全部引入。

即

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar,
/usr/local/hadoop/share/hadoop/common/*.jar,
/usr/local/hadoop/share/hadoop/hdfs/*.jar,
/usr/local/hadoop/share/hadoop/httpfs/*.jar,
/usr/local/hadoop/share/hadoop/kms/*.jar/,
/usr/local/hadoop/share/hadoop/mapreduce/*.jar,
/usr/local/hadoop/share/hadoop/tools/*.jar,
/usr/local/hadoop/share/hadoop/yarn/*.jar

 

4、修改环境变量，在~/.bashrc中增加

export SQOOP_HOME=/usr/local/sqoop

export  PATH=$SQOOP_HOME/bin:$PATH

export CATALINA_HOME=$SQOOP_HOME/server

export LOGDIR=$SQOOP_HOME/logs

 

5、运行sqoop2-tool verify检查配置文件是否正确。（我运行的时候提示了一堆错误，没仔细看）

 

6、启动sqoop server：sqoop2-server start

7、启动sqoop client,进入shell环境：sqoop2-shell

Client连接到服务端：set server --host 127.0.0.1 --port 12000 --webapp sqoop

可用浏览器在12000端口查看。

 

server未能运行成功，12000端口无法查看。

 

PS：问题已经解决了，用sqoop1解决的，但是坑爹的是，sqoop号称支持postgresql，但实际上支持并不完全，sqoop中不支持数据库模式，所以就无法访问pg数据库中的具体模式，要把pg中的数据导出来，只能把数据库表移动到public模式里面，访问这个模式里的表不需要填写模式名。