摘要: 《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设 阅读全文
posted @ 2016-03-14 12:34 泰山不老生 阅读(2951) 评论(0) 推荐(1) 编辑
摘要: 《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设 阅读全文
posted @ 2016-03-07 10:36 泰山不老生 阅读(2042) 评论(0) 推荐(2) 编辑
摘要: TaskScheduler是SparkContext中的重要组成部分,负责任务的调度功能。为简单起见,本文以local模式为例,介绍TaskScheduler的启动原理 阅读全文
posted @ 2016-03-03 08:43 泰山不老生 阅读(2781) 评论(0) 推荐(0) 编辑
摘要: TaskScheduler是SparkContext中的重要组成部分,负责任务的调度功能。为简单起见,本文以local模式为例,介绍TaskScheduler的启动原理 阅读全文
posted @ 2016-03-02 14:26 泰山不老生 阅读(1250) 评论(0) 推荐(0) 编辑
摘要: 任何系统都需要提供监控功能,用浏览器能访问具有样式及布局,并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务,它的构成如图3-1所示。 阅读全文
posted @ 2016-02-22 12:42 泰山不老生 阅读(3896) 评论(0) 推荐(1) 编辑
摘要: 《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设 阅读全文
posted @ 2016-02-15 12:18 泰山不老生 阅读(3581) 评论(2) 推荐(4) 编辑
摘要: 上一章,介绍了Spark环境的搭建,为方便读者学习Spark做好准备。本章首先从Spark产生的背景开始,介绍Spark的主要特点、基本概念、版本变迁。然后简要说明Spark的主要模块和编程模型。最后从Spark的设计理念和基本架构入手,使读者能够对Spark有宏观的认识,为之后的内容做一些准备工作。 http://images2015.cnblogs.com/blog/816981/201601/816981-20160126115552160-1364506879.jpg 阅读全文
posted @ 2016-01-27 12:57 泰山不老生 阅读(7592) 评论(4) 推荐(3) 编辑
摘要: 前言 现在已经进入了2016年,这是我从事IT这一行业的第10年。不知道能否称得上是一个职场老人,但终有种老年人的心态,喜欢回忆过去——最近被初中同学拉入一个初中同学的群里,刚开始两天让人激动得不舍得睡去,因为群里的老同学们都聊得火热,可我竟然在很长一段时间内都没有敲一个字或者说一句话,只是看着大家 阅读全文
posted @ 2016-01-19 11:35 泰山不老生 阅读(10350) 评论(129) 推荐(47) 编辑
摘要: 自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流... 阅读全文
posted @ 2016-01-12 08:19 泰山不老生 阅读(7106) 评论(18) 推荐(7) 编辑
摘要: 自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流... 阅读全文
posted @ 2016-01-11 18:53 泰山不老生 阅读(542) 评论(0) 推荐(0) 编辑