HUE配置文件hue.ini 的sqoop模块详解（图文详解）（分HA集群和非HA集群）

 

 

 

不多说，直接上干货！

　　我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

　　然后，安装目录是在/home/hadoop/app下。

 

　　官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

 

　Hue版本：hue-3.9.0-cdh5.5.4

 需要编译才能使用（联网）


　说给大家的话：大家电脑的配置好的话，一定要安装cloudera manager。毕竟是一家人的。
同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的！ 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

 

 

 

　　一、默认的sqoop配置文件

 

 

 

 

 

 

二、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的sqoop模块）

 　　我的集群是bigdatamaster、bigdataslave1和bigdataslave2组成的3节点非HA集群。

　　 对于sqoop的安装，我一般是只安装在bigdatamaster就好。如同跟hive一样也是只安装在bigdatamaster上。

###########################################################################
# Settings to configure Sqoop2
###########################################################################

[sqoop]
  # For autocompletion, fill out the librdbms section.

  # Sqoop server URL
  server_url=http://bigdatamaster:12000/sqoop

  # Path to configuration directory
  sqoop_conf_dir=/home/hadoop/app/sqoop/server/conf

 

 

 

 

 

 

 

 

三、以下是跟我机器集群匹配的配置文件（HA集群下怎么配置Hue的sqoop模块）

 　　跟非HA集群的配法是一样的。

 

 

 

 

 

 

 

 

 

 　　

　　大家要注意，Hue里是只支持Sqoop2版本，对于Sqoop1和Sqoop2版本，直接去官网看就得了。

 

 

 

 

 

　　因为，sqoop1 和 sqoop2还是不同的

 

 

　　同时，两者的环境变量也不一样。

 

 　　这里不多说，大家去看我的这篇博客

sqoop2-1.99.5-cdh5.5.4.tar.gz的部署搭建

 

 

 

 

Sqoop2全部配置好之后，按照如下的顺序来

　　1、启动Sqoop2的server（我这里做个最简单的，在bigdatamaster上）。启动sqoop服务

$SQOOP_HOME/bin/sqoop.sh server start  

 

[hadoop@bigdatamaster hadoop]$ cd $SQOOP_HOME
[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop
[hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh server start
Sqoop home directory: /home/hadoop/app/sqoop
Setting SQOOP_HTTP_PORT:     12000
Setting SQOOP_ADMIN_PORT:     12001
Using   CATALINA_OPTS:       
Adding to CATALINA_OPTS:    -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001
Using CATALINA_BASE:   /home/hadoop/app/sqoop/server
Using CATALINA_HOME:   /home/hadoop/app/sqoop/server
Using CATALINA_TMPDIR: /home/hadoop/app/sqoop/server/temp
Using JRE_HOME:        /home/hadoop/app/jdk
Using CLASSPATH:       /home/hadoop/app/sqoop/server/bin/bootstrap.jar
[hadoop@bigdatamaster sqoop]$ jps
2200 QuorumPeerMain
2339 NameNode
2973 Bootstrap
2984 Jps
2495 SecondaryNameNode
2669 ResourceManager
[hadoop@bigdatamaster sqoop]$ 

　　jsp命令看到Bootstrap进程。

 

 

 

　　2、启动Sqoop2的client（我这里做个最简单的，在bigdatamaster上），进入客户端交互模式。进入sqoop控制台  

$SQOOP_HOME/bin/sqoop.sh client  

 

[hadoop@bigdatamaster sqoop]$ pwd
/home/hadoop/app/sqoop
[hadoop@bigdatamaster sqoop]$ $SQOOP_HOME/bin/sqoop.sh client
Sqoop home directory: /home/hadoop/app/sqoop
May 07, 2017 8:26:47 PM java.util.prefs.FileSystemPreferences$1 run
INFO: Created user preferences directory.
Sqoop Shell: Type 'help' or '\h' for help.

sqoop:000> 

 

 

 

 

 

 

　　3、在Sqoop2的client连接Sqoop2的server 。 连接服务器  

sqoop:000> set server --host bigdatamaster  --port 12000  --webapp sqoop

sqoop:000> set server --host localhost  --port 12000  --webapp sqoop

sqoop:000> show version --all     

　　当看到show version -all正确的显示 就说明了Sqoop2的client连接上了Sqoop2的服务器。

 

　　show version --all            显示服务器、客户端的版本信息，如果server显示错误，

　　　　重启一下 server./sqoop.sh server stop  

 

 　　

 

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）