摘要： 《Effective Java, Third Edition》一书英文版已经出版，这本书的第二版想必很多人都读过，号称Java四大名著之一，不过第二版2009年出版，到现在已经将近8年的时间，但随着Java 6，7，8，甚至9的发布，Java语言发生了深刻的变化。 读书笔记 第1章 介绍 （Intr 阅读全文

摘要： ANTLR v4是一款强大的语法分析器生成器，可以用来读取、处理、执行和转换结构化文本或二进制文件。通过称为文法的形式化语言描述，ANTLR可以为该语言自动生成词法分析器。生成的语法分析器可以自动构建语法分析树，它是表示文法如何匹配输入的数据结构。ANTLR还可以自动生成树遍历器，用来访问树节点以执 阅读全文

摘要： 关于转载一些 Spark 官方的文档以及 DataBricks 公司博文，本系列基本是中英双语，主要是为了提高自己的英语水平。 文章分类 spark databricks A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Dataset 阅读全文

摘要： 学习 Spark 中，别人整理不错的文章，转载至本博客，方便自己学习，并按照不同的模块归档整理。每个文章作者能力不同，写文章所处的时间点不同，可能会略有差异，在阅读的同时，注意当时的文章的内容是否已经过时。 文章分类 Spark Core RDD Spark 核心概念RDD RPC Network 阅读全文

摘要： 对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人感到惊诧。2009年，Spark诞生于伯克利大学AMPLab，最开初属于伯克利大学的研究性项目。它于2010年正式开源，并于2013年成为了Aparch基金项目，并于2014年成为Aparch基金的顶级 阅读全文

摘要： 记录自己学习研究 Spark 的探索过程，为后续总结奠定基础。 本文代码研究以 Spark 2.3.0 源代码为基准，如果看本文，请阅读时，下载对应的 Spark 版本。 图1 伯克利的数据分析软件栈BDAS（Berkeley Data Analytics Stack） 这里要先说BDAS（伯克利数 阅读全文

摘要： 下面是Nutch搜索系列目录，希望对研究Nutch的同学有所帮助。 目录安排： 1）Nutch搜索引擎（第1期）_ Nutch简介及安装[下载] 2）Nutch搜索引擎（第2期）_ Solr简介及安装[下载] 3）Nutch搜索引擎（第3期）_ Nutch简单应用 4）Nutch搜索引擎（第4期）_ 阅读全文

摘要： 目录安排： 1）Hadoop集群_第1期_CentOS安装配置_V1.0 2）Hadoop集群_第2期_机器信息分布表_V1.1 3）Hadoop集群_第3期_VSFTP安装配置_V1.0 4）Hadoop集群_第4期_SecureCRT使用_V1.0 5）Hadoop集群_第5期_Hadoop安装 阅读全文

摘要： 阅读全文

摘要： 文章标题 One SQL to Rule Them All – an Efficient and Syntactically Idiomatic Approach to Management of Streams and Tables 用SQL统一所有：一种有效的、语法惯用的流和表管理方法 synt 阅读全文

摘要： 本章内容： 1、源码 InterfaceStability 类包含三个注解，用于说明被他们注解的类型的稳定性。 2、总结 InterfaceStability 类包含三个注解，用于说明被他们注解的类型的稳定性。 @InterfaceStability.Stable： 说明主版本是稳定的，不同主版本之 阅读全文

摘要： 记录《The Definitive ANTLR 4 Reference》中出现的专业术语： grammar 文法，一种形式化（formal）的语言描述。 syntax 语法 phrase 短语 lexer 词法分析器 parser 语法分析器 parse tree 语法分析树，表示语法如何匹配输入的 阅读全文

摘要： 文章标题 Apache Spark as a Compiler: Joining a Billion Rows per Second on a Laptop Deep dive into the new Tungsten execution engine 作者介绍 Sameer Agarwal, D 阅读全文

摘要： 文章标题 Deep Dive into Spark SQL’s Catalyst Optimizer 作者介绍 Michael Armbrust, Yin Huai, Cheng Liang, Reynold Xin and Matei Zaharia 文章正文 参考文献 https://datab 阅读全文

摘要： 文章标题 What’s new for Spark SQL in Apache Spark 1.3 作者介绍 Michael Armbrust 文章正文 The Apache Spark 1.3 release represents a major milestone for Spark SQL. 阅读全文

摘要： 文章正文 通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。 1、Spark 中的隐式思考 隐式转换是Scala的一大特性, 如果对其不是很了解, 在阅读Spark代码时候就会很迷 阅读全文