摘要: Flume在企业大数据仓库架构中位置及功能hadoop数据仓库flume数据仓库架构1、如下图所示,外部数据中,关系型数据库导入到HDFS用sqoop,由Nginx产生的文件实时监控用Flume获得。在HDFS或Hbase中,如果要进行实时查询用Impala(内存),如果是分析可以用Hive,Mapreduce分析。用Oozie来调用工作流执行任务。2、左边是数据的来源:系统日志文件,应用文件(... 阅读全文
posted @ 2016-04-01 06:10 Raymoc 阅读(642) 评论(0) 推荐(0) 编辑
摘要: Hue的安装与部署hadoophueHue 简介Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以... 阅读全文
posted @ 2016-04-01 02:03 Raymoc 阅读(7629) 评论(1) 推荐(0) 编辑