【Hadoop UI学习】Hue
环境
虚拟机:VMware 10
Linux版本:CentOS-6.5-x86_64
客户端:Xshell4
FTP:Xftp4
jdk8
zookeeper-3.4.11
Hue是一个开源的Apache Hadoop UI系统,基于Python Web框架Django实现,支持任何版本Hadoop。
通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。
例如操作HDFS上的数据、运行Hive脚本、管理Oozie任务等等。
功能:
基于文件浏览器(File Browser)访问HDFS
基于web编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用,并提供可视化的数据视图,报表生成
通过web调试和开发impala交互式查询
spark调试和开发
Pig开发和调试
oozie任务的开发,监控,和工作流协调调度
Hbase数据查询和修改,数据展示
Hive的元数据(metastore)查询
MapReduce任务进度查看,日志追踪
创建和提交MapReduce,Streaming,Java job任务
Sqoop2的开发和调试
Zookeeper的浏览和编辑
数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示
安装使用:
1、通过CM安装Hue,依赖Oozie(需要创建数据库)
2、打开Hue UI登录界面,首次登录需要创建账户
3、接下来是启动向导
4、文件浏览器操作,一般用于处理配置小文件,不适用于大数据文件
5、Oozie工作流操作
6、Hive操作
7、元数据管理
8、查看任务(Job Browser)
学习技术不是用来写HelloWorld和Demo的,而是要用来解决线上系统的真实问题的.