摘要:
1. 概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层: flume(采集日志 >存储性框架(如HDFS、kafka、Hive、Hbase))+ sqoop(关系型数据性数据库里数据 >hadoop)+ kafka(将实时日志在线 >sparkstream在数据进行实时处理 阅读全文
摘要:
HUE=Hadoop User Experience(Hadoop用户体验),直白来说就一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现 阅读全文
摘要:
1. 概述 Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive,使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点。 是CDH平台首选的PB级大数据实时查询分析引擎。 1.1 优点 1) 基于内存运算,不需要把中间结果写入磁盘,省掉了 阅读全文
摘要:
1. cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提 高集群管理的效率。 功能 1) 管理:对集群进行管理 阅读全文