摘要：
一、MapReduce模型框架 MapReduce是一个用于大规模数据处理的分布式计算模型，最初由Google工程师设计并实现的，Google已经将完整的MapReduce论文公开发布了。其中的定义是，MapReduce是一个编程模型，是一个用于处理和生成... 阅读全文
摘要：
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，... 阅读全文
摘要：
概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、... 阅读全文
摘要：
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master. Hbase每时每刻只有一个hmaster主服务器程序在运行，hmaster将region分... 阅读全文
摘要：
因为hive是Hadoop的一个组件，作为数据厂库，hive的数据是存储在Hadoop的文件系统中的，hive为Hadoop提供SQL语句，是Hadoop可以通过SQL语句操作文件系统中的数据。hive是依赖Hadoop而存在的。 因此hive的安装详解,请参考博客:... 阅读全文
摘要：
Java 想要访问Hive，需要通过beeline的方式连接Hive，hiveserver2提供了一个新的命令行工具beeline，hiveserver2 对 之前的hive做了升级，功能更加强大，它增加了权限控制，要使用beeline需要先启动hiverserver... 阅读全文
摘要：
1. 准备工作1.1需要的软件： Anaconda3-5.0.0-Windows-x86_64 hadoop-2.7.4 jdk1.8+ spark-2.2.0-bin-hadoop2.71.2下载软件 Anaconda 官网下载地址：https://www.con... 阅读全文
摘要：
## 知识重在积累 ##一直在积累（虚拟机在windowns上连接不到VMware的原因）：原因1：windowns的防火墙未关闭或者是虚拟机的防火墙未关闭解决的办法：关闭防火墙原因2： 在用一些加速软件（如：360 、QQ安全管家）时，把一些服务关闭了详细解决办法，... 阅读全文
摘要：
1.准备工作在Flume的安装及简单的使用（一） 的基础上系统环境之上添加hadoop-2.7.3 ，并创建hadoop伪分布集群并创建。hadoop伪分布集群的搭建，请参考：http://blog.csdn.net/qq_38799155/article/detai... 阅读全文
摘要：
1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cl... 阅读全文