Sqoop配置

1.下载sqoop

 

 

 

 

 

 2.安装配置sqoop

需要在hadoop的core-site.xml的配置文件中加入sqoop的相关配置

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value>
</property>

并且，在配置文件 container-executor.cfg 中，记得添加：

　　allowed.system.users=sqoop2

把sql的驱动jar包导入sqoop的lib目录下,由于前面已经导入了hive直接拷贝即可

cp /opt/hive-1.1.0-cdh5.7.0/lib/mysql-connector-java-5.1.7-bin.jar /opt/sqoop-1.4.6-cdh5.7.0/lib/

注意：1.使用sqoop前需要导入Java-json.jar的包到sqoop的lib目录下 使用FileZilla上传 已 　 2.将hive/lib/hive.* 拷贝到sqoop的lib目录下 cp /root/hive-1.1.0-cdh5.7.0/lib/hive* /root/sqoop-1.4.6-cdh5.7.0/lib/

cp /opt/hive-1.1.0-cdh5.7.0/lib/hive* /opt/sqoop-1.4.6-cdh5.7.0/lib/

配置环境变量

export SQOOP_HOME=sqoop安装路径
export PATH=$PATH:$SQOOP_HOME/bin

sqoop version查看版本,报警主要是因为Sqoop加载$ACCUMULO_HOME环境变量，没有找到所以做出警告，其实也可以忽略。

 

 

 

尝试连接mysql,注意大写的P

　　sqoop list-databases --connect jdbc:mysql://192.168.56.2:3306/ --username root -P


提示输入MySQL的密码，如果出先下面的报错,

　　com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

　　Last packet sent to the server was 0 ms ago.

可能是因为 /etc/my.cnf中少了一行配置

[mysqld]
bind-address=0.0.0.0

出现这个就是成功了

information_schema
hive
mysql
performance_schema
sys