摘要: Druid 是什么 Druid 单词来源于西方古罗马的神话人物,中文常常翻译成德鲁伊。 本问介绍的Druid 是一个分布式的支持实时分析的数据存储系统(Data Store)。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目,并且于2012 年晚期开源了Druid 项目。 阅读全文
posted @ 2018-10-23 23:09 夕阳如火 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 一、Scala语言基础 1、Scala语言简介 Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。 学习Scala编程语言,为后续学习Spark奠定基础。 2、为什么要学Scala l  阅读全文
posted @ 2018-10-23 23:02 夕阳如火 阅读(13043) 评论(2) 推荐(1) 编辑
摘要: Zookeeper https://zookeeper.apache.org/ 1.Zookeeper概念简介 Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序(只要有半数以上 阅读全文
posted @ 2018-10-23 22:18 夕阳如火 阅读(233) 评论(0) 推荐(0) 编辑
摘要: hbase http://hbase.apache.org/index.html 1.什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅 阅读全文
posted @ 2018-10-23 21:26 夕阳如火 阅读(397) 评论(0) 推荐(0) 编辑
摘要: YARN mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序 阅读全文
posted @ 2018-10-23 20:36 夕阳如火 阅读(1185) 评论(0) 推荐(0) 编辑
摘要: MAPREDUCE详解 1. MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架; Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上; 1. 阅读全文
posted @ 2018-10-23 20:28 夕阳如火 阅读(532) 评论(0) 推荐(0) 编辑