2018年8月
Mastering-Spark-SQL学习笔记02 SparkSession - Spark SQL的入口点
摘要： SparkSession是在使用类型化数据集(或基于非类型化Row-基于DataFrame)数据抽象开发Spark SQL应用程序时创建的首批对象之一。 在Spark 2.0中，SparkSession将SQLContext和HiveContext合并到一个对象中。 使用SparkSession.b 阅读全文
posted @ 2018-08-15 18:55 子秦 阅读(724) 评论(0) 推荐(0) 编辑
Mastering-Spark-SQL学习笔记01 SparkSQL
摘要： SparkSQL可以让开发人员使用关系化查询对大规模结构化数据进行处理。 像Apache Spark一样，Spark SQL特别适合大规模的分布式内存计算。SparkSQL将关系型处理与Spark的函数式编程API进行整合。 SparkSQL和SparkCore的计算模型的主要区别是注入、查询和持久 阅读全文
posted @ 2018-08-07 16:36 子秦 阅读(373) 评论(0) 推荐(0) 编辑
2017年10月
HBase1.2官方文档——Apache HBase Performance Tuning
摘要： 原文档：http://hbase.apache.org/1.2/book.html#performance Apache HBase Performance Tuning 92. Operating System 92.1. Memory RAM, RAM, RAM. Don’t starve HB 阅读全文
posted @ 2017-10-12 13:42 子秦 阅读(717) 评论(0) 推荐(0) 编辑
2017年9月
HBase1.2官方文档——Apache HBase Coprocessors
摘要： 原文档地址：http://hbase.apache.org/1.2/book.html#cp ApacheHbase协处理器 Apache HBase Coprocessors HBase Coprocessors协处理器是在Google BigTable的协处理器实现之后才建模的 (http:// 阅读全文
posted @ 2017-09-30 09:45 子秦 阅读(1789) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——Architecture
摘要： 架构 Architecture 63. 概述 Overview 63.1. NoSQL? HBase是一种 "NoSQL" 数据库。"NoSQL"是一个通用词表示数据库不是RDBMS ，后者支持 SQL 作为主要访问语言。有许多种 NoSQL 数据库: BerkeleyDB 是本地 NoSQL 数据 阅读全文
posted @ 2017-09-28 16:29 子秦 阅读(1193) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——HBase and MapReduce
摘要： HBase 和 MapReduce Apache MapReduce是一个用来分析海量数据的软件框架，也是Apache Hadoop最常用的框架。MapReduce本身超出了这个文档的范围。MapReduce2（MR2）现在是YARN的一部分。 在http://hadoop.apache.org/d 阅读全文
posted @ 2017-09-18 14:58 子秦 阅读(906) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——RegionServer Sizing Rules of Thumb
摘要： RegionServer 大小的经验规则 Lars Hofhansl写了很棒的关于RegionServer内存大小的帖子blog post。结论是你需要的内存可能比你想象的要多。他研究了region大小、memstore大小、HDFS副本因子和其他要检查的因素的影响。 “就我自己而言，我会给专门运行 阅读全文
posted @ 2017-09-14 17:32 子秦 阅读(333) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——ACID
摘要： 原文链接：http://hbase.apache.org/acid-semantics.html 关于这篇文档 Apache HBase (TM) 不是一个适用于ACID的数据库。但是它可以保证特定的属性。这篇说明列举了HBase中ACID的属性 原文链接：http://hbase.apache.o 阅读全文
posted @ 2017-09-12 16:04 子秦 阅读(271) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——HBase and Schema Design
摘要： HBase 和 Schema 设计 一份关于各种非关系型数据库的优点和缺点的通用介绍，就是 Ian Varley的博士论文， No Relation: The Mixed Blessings of Non-Relational Databases。它的作成时间距今有一点长，但如果你有时间去了解HBa 阅读全文
posted @ 2017-09-10 18:12 子秦 阅读(290) 评论(0) 推荐(0) 编辑
HBase1.2官方文档——DataModel
摘要： Data Model 本篇内容是http://hbase.apache.org/1.2/book.html#datamodel 的自我翻译。 在HBase中，数据存储在表里，表由行和列组成。这些术语和关系型数据库（RDBMS）相同，但这种类比是没用的。它只能用来帮助我们把HBase表理解成一个多维M 阅读全文
posted @ 2017-09-10 15:58 子秦 阅读(684) 评论(0) 推荐(0) 编辑