摘要：
* SparkSQL基础 起源： 1、在三四年前，Hive可以说是SQL on Hadoop的唯一选择，负责将SQL编译成可扩展的MapReduce作业。鉴于Hive的性能以及与Spark的兼容，Shark项目由此而生。 2、Shark即Hive on Spark，本质上是通过Hive的HQL解析， 阅读全文
摘要：
* SparkStreaming基础 打开之前构建好的Maven工程，如何构建？请参看SparkCore基础（二）的最后部分。 在SparkCore中，我们操作的数据都在RDD中，是Spark的一个抽象概念，也是一个抽象类，是由SparkContext对象sc转换得到的。 那么在SparkStrea 阅读全文
摘要：
* SparkCore基础（二） 继续探讨SparkCore，开门见山，不多废话。 SparkApplication结构探讨 包含关系： 之前我们运行过很多App了，其实每一个App都包含若干个Job任务； 而Job任务呢，一般都是由RDD的Action动作发出的eg：first、count、col 阅读全文
摘要：
* SparkCore基础（一） 学习Spark，首先要熟悉Scala，当然你说你会Python或者Java能不能玩Spark？能！但是不推荐，首推Scala，因为Scala非常便捷，而且Scala有非常好的交互式编程体验（当然了，在这里，Python也不差）。其次呢，我们要对Hadoop的MapR 阅读全文
摘要：
* HBase框架基础（五） 本节主要介绍HBase中关于分区的一些知识。 * HBase的RowKey设计 我们为什么要讨论rowKey的设计？或者说为什么很多工作岗位要求有rowKey的优化设计经验？这个我们需要简单的谈一谈HBase的存储情景。 简单讨论： ** 一个Table表可以划分为多个 阅读全文
摘要：
* Hadoop-CDH源码编译 这一节我们主要讲解一下根据CDH源码包手动编译的过程，至于为什么要使用CDH，前几节已经说明，那为什么又要自己手动编译，因为CDH的5.3.6对应的Hadoop2.5.0没有native动态库，很多压缩功能无法使用。 * 首先源码包下载： http://archiv 阅读全文
摘要：
* HBase框架基础（四） 上一节我们介绍了如何使用HBase搞一些MapReduce小程序，其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作，这一节我们来介绍如何使用HBase与其他框架进行搭配使用。 * HBase与Hive 在开始HBase与Hive搭配使用前，我们复习一下这两个框架 阅读全文
摘要：
* HBase框架基础（三） 本节我们继续讨论HBase的一些开发常识，以及HBase与其他框架协调使用的方式。在开始之前，为了框架之间更好的适配，以及复习之前HBase的配置操作，请使用cdh版本的HBase开启动相关服务，记得，配置HMaster的HA。 为了方便，cdh版本hbase下载传送门 阅读全文
摘要：
* Scala基础简述 本文章作为Scala快速学习的教程，前提环境是：我假设在此之前，你已经学会了Java编程语言，并且我们以随学随用为目标（在此不会深度挖掘探讨Scala更高级层次的知识）。其中语言基础部分，不再做大量重复的无意义工作，我会直接使用RUNOOB.COM中的一些例子做一些整合，OK 阅读全文
摘要：
* HBase框架基础（一） 官方网址：http://hbase.apache.org/ * HBase是什么妖怪？ 要解释HBase，我们就先说一说经常接触到的RDBMS，即关系型数据库： ** mysql： *** 有开源社区版本的，有企业收费版本的 *** 遵循主从架构 *** 端口号：330 阅读全文