Hue是Cloudera开源的一个Hadoop UI,由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员,用于安装、维护集群,而不是使用集群。两者针对的是不同需求。
Hue安装:
依赖安装:
sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel openssl-devel
(不同环境的依赖包参考这里)
JDK安装
这里必须安装oracle JDK(具体参考这里)
Maven和Ant安装
Hue的安装过程需要依赖于Maven和Ant,按常规方法安装Maven和Ant,配置MAVEN_HOME,ANT_HOME,并将bin目录加入PATH。具体步骤略。
MAV(apache-maven 或者 maven3 tarball )这里安装的是apache-maven
sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo
sudo yum install -y apache-maven
mvn --version
如果网络带宽足够可以略过此步骤,这里配置maven更新源,主要使用的是阿里的源
# 配置文件所在的位置是/etc/maven/settings.xml
<mirrors>
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
<mirror>
<id>ui</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://uk.maven.org/maven2/</url>
</mirror>
<mirror>
<id>jboss-public-repository-group</id>
<mirrorOf>central</mirrorOf>
<name>JBoss Public Repository Group</name>
<url>http://repository.jboss.org/nexus/content/groups/public</url>
</mirror>
</mirrors>
可以从本地导入hue安装包,也可以直接使用wget下载,wget需要sudo权限
下载安装hue
sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz
tar zxvf hue-4.0.1.tgz
cd hue-4.0.1.tgz
#安装
make apps
如果编译出现问题,需要重新clean,再编译
make clean
make apps
配置Hue
Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件,针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例:
注意,这里设置的主机的域名为master,配置时需要根据实际情况进行配置
Hue
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=0.0.0.0
http_port=8888
server_user=hue
server_group=hue
default_user=hue
default_hdfs_superuser=hue
注意:这默认的账户为hue,如果你配置的账户和我的不相同,请在hadoop代理配置中保持一致否则会出现一些列关于权限的问题如:
Hadoop/HDFS
fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop
YARN
resourcemanager_host=master
resourcemanager_port=8032
resourcemanager_api_url=http://master:18088
proxy_api_url=http://master:18088
history_server_api_url=http://master:19888
HBase
hbase_clusters=(Cluster|master:9090)
hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf
Hive
hive_server_host=master
hive_server_port=10000
hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf
Pig
# Location of piggybank.jar on local filesystem.
## local_sample_dir=/usr/share/hue/apps/pig/examples
# Location piggybank.jar will be copied to in HDFS.
## remote_data_dir=/user/hue/pig/examples
Sqoop2
server_url=http://master:12000/sqoop
sqoop_conf_dir=/home/sqoop-1.99.6/conf
hadoop配置
在hdfs-site.xml添加
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
在core-site.xml添加
<!-- enable WebHDFS in the NameNode and DataNodes -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!-- Hue WebHDFS proxy user setting --> <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hue.groups</name> <value>*</value> </property><property> <name>hadoop.proxyuser.httpfs.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.httpfs.groups</name> <value>*</value> </property>
注意:这里使用的webHDFS,如果需要httpFS,请参考官网进行配置
配置成功以后需要重新启动hadoop集群,注意需要将配置问题同步到所有主机上
启动及界面
启动
首先启动Hadoop集群中的HDFS,YARN,HBase等相关组件。
然后在$HUE_HOME目录下:
nohup build/env/bin/supervisor &
根据配置的端口访问,我这里是8888端口:
首次访问时,会让你设置用户名和密码,这个是超级管理账号。登陆后:
HBase界面
先要启动HBase的Thrift Server:
% start-hbase.sh
% hbase-daemon.sh start thrift -p 9090
Hive界面
首先要启动HiverServer2
% hiveserver2
Hive查询:
异常情况:
Hive metastore异常:
Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found
解决方案:安装sasl缺失的依赖,确保安装了以下依赖:
Sqoop作业
Pig脚本
作业执行情况
启动Spark-shell后:
文件浏览
hue4的界面和hue3部分不相同,界面提供了切换选项:
hue参考资料
Hue项目:
http://gethue.com/
https://github.com/cloudera/hue
Hue安装配置实践:
http://www.tuicool.com/articles/zIrqemB
Hue3.9 Tarball安装:
http://blog.csdn.net/bluishglc/article/details/48393291
Hue安装及问题: