Sqoop安装部署

下载安装包：http://archive.apache.org/dist/sqoop/1.4.6/

 

 

查看本机java版本

 

 

上传 查看  解压

 

 

查看 命名 删除

 

 

由于下载的是apache下面的  需要源码编译

 

 

找到hadoop版本

 

找到200

 

 

 

配置环境变量

 

 

进入配置文件

操作hadoop  配置环境变量

 

 

 配置vi sqoop-site.xml

 

配置sqoop环境变量

注意权限

 

 

配置

 

 

使配置生效

 

 

由于这里需要测试hdfs与mysql之间的导入导出，所以需要安装mysql

 

 

导入mysql依赖包

 

 

进入 

 

导入hadoop-common-2.7.2.jar 到sqoop的lib下面

 

首先启动hdfs集群，启动mysql

 

 测试sqoop  发现警告

 

修改$SQOOP_HOME/bin/configure-sqoop

注释掉HCatalog，Accumulo检查(除非你准备使用HCatalog，Accumulo等HADOOP上的组件) 

 

 再次执行

 

 

 如何查询数据库里面的列表会出现如下错误，说明没有导入相应的数据库jar包，将hive下面的jar包拷贝到sqoop的lib下面

sqoop list-tables --connect jdbc:mysql://192.168.0.52:3306/ --username root -P

 

 继续测试出现下面问题

 在数据库连接的url中添加useSSL=false;

url中添加useSSL=true，并且提供服务器的验证证书。如果只是做一个测试的话，没必要搞证书那么麻烦啦，在连接后添加一个useSSL=false即可，例如：

 

 完成之后测试连接数据库

sqoop list-databases --connect jdbc:mysql://ly-p2p4:3306/hive --username root -password 123456

hive是要连接的数据库名