随笔分类 -  大数据

摘要:《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设 阅读全文
posted @ 2016-03-07 10:36 泰山不老生 阅读(2042) 评论(0) 推荐(2) 编辑
摘要:TaskScheduler是SparkContext中的重要组成部分,负责任务的调度功能。为简单起见,本文以local模式为例,介绍TaskScheduler的启动原理 阅读全文
posted @ 2016-03-03 08:43 泰山不老生 阅读(2781) 评论(0) 推荐(0) 编辑
摘要:TaskScheduler是SparkContext中的重要组成部分,负责任务的调度功能。为简单起见,本文以local模式为例,介绍TaskScheduler的启动原理 阅读全文
posted @ 2016-03-02 14:26 泰山不老生 阅读(1250) 评论(0) 推荐(0) 编辑
摘要:任何系统都需要提供监控功能,用浏览器能访问具有样式及布局,并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务,它的构成如图3-1所示。 阅读全文
posted @ 2016-02-22 12:42 泰山不老生 阅读(3896) 评论(0) 推荐(1) 编辑
摘要:《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市 《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设 阅读全文
posted @ 2016-02-15 12:18 泰山不老生 阅读(3581) 评论(2) 推荐(4) 编辑
摘要:上一章,介绍了Spark环境的搭建,为方便读者学习Spark做好准备。本章首先从Spark产生的背景开始,介绍Spark的主要特点、基本概念、版本变迁。然后简要说明Spark的主要模块和编程模型。最后从Spark的设计理念和基本架构入手,使读者能够对Spark有宏观的认识,为之后的内容做一些准备工作。 http://images2015.cnblogs.com/blog/816981/201601/816981-20160126115552160-1364506879.jpg 阅读全文
posted @ 2016-01-27 12:57 泰山不老生 阅读(7592) 评论(4) 推荐(3) 编辑
摘要:自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流... 阅读全文
posted @ 2016-01-12 08:19 泰山不老生 阅读(7107) 评论(18) 推荐(7) 编辑
摘要:自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流... 阅读全文
posted @ 2016-01-11 18:53 泰山不老生 阅读(542) 评论(0) 推荐(0) 编辑
摘要:自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前亚马逊、京东、当当、天猫等网站均有销售,欢迎感兴趣的同学购买。我开始研究源码时的Spark版本是1.2.0,经过7个多月的研究和出版社近4个月的流... 阅读全文
posted @ 2016-01-11 17:51 泰山不老生 阅读(4186) 评论(6) 推荐(2) 编辑