05 2016 档案
摘要：数据仓库的模型设计 A. 数据建模方法论 数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。 模型设计分为三个阶段： 1，概念模型 对业务的范围和使用，从高度上进行抽象概括，也就是划分主题域。 一般划分为8个主题域： 客户、服务、服务使用、账务、结算、资源、客服、营销 为什么要划分主题域？ 划分
阅读全文
摘要：Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建 Ip 主机名 程序 进程 192.168.137.11 h1 Jdk Hadoop hbase Namenode DFSZKFailoverController Hamster 192.168.137.12
阅读全文
摘要：转自：http://www.cnblogs.com/foreach-break/p/what-is-real-time-computing-and-how.html?utm_source=tuicool&utm_medium=referral 本文目录 [-点此收起] 实时计算是什么？ 最热的微博话
阅读全文
摘要：转自：http://blog.csdn.net/Androidlushangderen/article/details/50282593 前言 最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带
阅读全文
摘要：转自：http://www.aahyhaa.com/archives/316 hive引入partition和bucket的概念，中文翻译分别为分区和桶（我觉的不是很合适，但是网上基本都是这么翻译，暂时用这个吧），这两个概念都是把数据划分成块，分区是粗粒度的划分桶是细粒度的划分，这样做为了可以让查询
阅读全文
摘要：转自：http://www.cnblogs.com/davidwang456/p/4313784.html 原文：http://blog.csdn.net/changong28/article/details/39325079 使用Kafka的同学都知道，我们每次创建Kafka主题（Topic）的时
阅读全文
摘要：HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对比普遍的B+树来说，能够获得较高随机写性能的同时，也能保持可靠的随机读性能（可参考这里）。在进行读请求的时候，LSM树要把多个子树（类似B+树结构）进行归并查询，对于HBase来说，这些子树就是HFile（还包括内存上的树结构Mem
阅读全文
摘要：转自：http://www.cnblogs.com/bdifn/p/3801737.html 问题导读：1.如何防止热点？2.如何预分区？扩展：为什么会产生热点存储？ HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey
阅读全文
摘要：转自：http://blog.csdn.net/colorant/article/details/8444283 == 是什么 == 目标Scope（解决什么问题） 为分布式系统提供高可靠性的协同工作机制 官方定义 ZooKeeper is acentralized service for main
阅读全文
摘要：转自：http://blackproof.iteye.com/blog/1928122 oozie概述：oozie能干什么 oozie格式：怎么用oozie oozie执行：怎么运行oozie oozie概述： oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度mr，pig，h
阅读全文
摘要：转自：http://shiyanjun.cn/archives/1472.html 本文算是个人对Storm应用和学习的一个总结，由于不太懂Clojure语言，所以无法更多地从源码分析，但是参考了官网、好多朋友的文章，以及《Storm Applied: Strategies for real-tim
阅读全文
摘要：转自： Java ArrayList源码剖析 总体介绍 ArrayList实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量（capacity），表示底层数组的
阅读全文
摘要：转自： Java HashSet和HashMap源码剖析 总体介绍 之所以把HashSet和HashMap放在一起讲解，是因为二者在Java里有着相同的实现，前者仅仅是对后者做了一层包装，也就是说HashSet里面有一个HashMap（适配器模式）。因此本文将重点分析HashMap。 HashMap
阅读全文
摘要：转自：http://www.cnblogs.com/codeOfLife/p/5492740.html 1、YARN 是什么？ 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展
阅读全文
摘要：转自：http://kb.cnblogs.com/page/129491/ 用例图主要用来描述“用户、需求、系统功能单元”之间的关系。它展示了一个外部用户能够观察到的系统功能模型图。 【用途】：帮助开发团队以一种可视化的方式理解系统的功能需求。 用例图所包含的元素如下： 1. 参与者(Actor)
阅读全文
摘要：转自：http://kb.cnblogs.com/page/129490/ 在UML类图中，常见的有以下几种关系: 泛化（Generalization）, 实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Depen
阅读全文
摘要：转自：http://www.cnblogs.com/vajoy/p/5471308.html 最近小组准备启动一个 node 开源项目，从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了 NoSql 数据库，但具体使用哪一款产品还需要做一次选型。 我们最终把选项范围缩窄在 HBase、Redi
阅读全文
摘要：转自：http://blog.csdn.net/jameshadoop/article/details/44905643 搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮
阅读全文
