摘要：
一、概述 1.kafka是什么 根据标题可以有个概念：kafka是storm的上游数据源之一，也是一对经典的组合，就像郭德纲和于谦 根据官网：http://kafka.apache.org/intro 的解释呢，是这样的： Apache Kafka® is a distributed streami 阅读全文
摘要：
一、集群提交任务流程分析 1.集群提交操作 参考：https://www.jianshu.com/p/6783f1ec2da0 2.任务分配与启动流程 参考：https://www.cnblogs.com/heitaok/p/5531535.html 二、相关目录树 1.组件本地目录树 2.stor 阅读全文
摘要：
一、常用命令 1.提交命令 2.杀死任务 3.停用任务 4.启用任务 5.重新部署任务 更多命令，参考：http://blog.csdn.net/u010003835/article/details/52123807 完整命令，参考官网文档：http://storm.apache.org/relea 阅读全文
摘要：
一、概述 今天起就正式进入了流式计算。这里先解释一下流式计算的概念 离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度 阅读全文
摘要：
一、功能简述 1.笔记本管理（增删改） 2.笔记管理 3.共享笔记查询功能 4.回收站 效果预览： 二、库表设计 1.设计理念 将云笔记信息分别存储在redis和hbase中。 redis（缓存）：存储每个用户的笔记本信息 hbase（持久层）：存储用户的笔记本信息、笔记本下的笔记列表、笔记具体信息 阅读全文
摘要：
一、基本原理 1.hbase的位置 上图描述了Hadoop 2.0生态系统中的各层结构。其中HBase位于结构化存储层，HDFS为HBase提供了高可靠性的底层存储支持， MapReduce为HBase提供了高性能的批处理能力，Zookeeper为HBase提供了稳定服务和failover机制，Pi 阅读全文
摘要：
一、hbase数据模型 完整的官方文档的翻译，参考：https://www.cnblogs.com/simple-focus/p/6198329.html 1.rowkey 与nosql数据库们一样,row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个r 阅读全文
摘要：
一、概述 1.什么是Hbase 根据官网：https://hbase.apache.org/ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. HBASE是一个高可靠性、高性能、面向列、可伸缩 阅读全文
摘要：
一、概述 在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型， 星型架构是一种非正规 阅读全文
摘要：
一、概述 数据模型是数据管理的分析工具和交流的有力手段；同时，还能够很好地保证数据的一致性，是实现商务智能（Business Intelligence）的重要基础。因此建立、管理一个企业级的数据模型，应该遵循标准的命名和设计规范。 二、命名规范 1.表属性规范 表名 ODS层表名 前缀为ODS_应用 阅读全文