Spark1.0.0 学习路线指导

转自：http://www.aboutyun.com/thread-8421-1-1.html

 

问题导读
1.什么是spark？
2.spark编程模型是什么？
3.spark运维需要具有什么知识？
4.spark如何监控？
5.如何搭建开发spark?




2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布，虽然还有不少bug，还是很令人振奋。作为一个骨灰级的老IT，经过很成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍，去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。
      随着国家对软件安全的重视，，看看这几天股市中软件股的表现，可以预见，在今后很长一段时间内，开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark，由于其一体化的解决方案、高效的代码编写速度、高速的计算能力，将不断在大数据阵营中脱颖而出。
      在本文中，所使用的软件有：
Spark 1.0.0

Hadoop 2.20
Java 7UP21
Maven 3.05
Scala 2.10.4


      本线路分成6个部分Spark内存计算框架，逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。
<ignore_js_op> 


1：预览篇
为什么要学习Spark？

Spark1.0.0 的新特性

Spark1.0.0 生态圈一览

2：原理篇
Spark1.0.0 运行架构基本概念

  • RDD 细解
    • Spark RDD
    • Spark Streaming RDD
    • Spark SQL RDD
    • MLLib RDD
    • GraphX RDD
  • DAG Scheduler 细解
  • Task Scheduler 细解
  • Spark1.0.0 Standalone 运行架构实例解析
  • Spark1.0.0 on YARN 运行架构实例解析
  • Spark1.0.0 on Mesos 运行原理解析


Spark1.0.0 编程模型

  • Spark1.0.0 编程模型解析

Spark Streaming运行架构基本概念

3：运维篇
部署篇

配置篇

  • Spark1.0.0属性配置
  • Spark1.0.0环境变量配置
  • Spark1.0.0日志配置
  • Spark1.0.0 history server 配置
  • Spark1.0.0 job server配置

运行篇

  • Spark1.0.0应用提交工具spark-submit
  • Spark1.0.0交互工具spark-shell





监控篇

  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0


优化篇



4：Spark生态环境
Spark1.0.0 生态环境


Spark SQL 简介
Spark MLlib 简介
Spark GraphX 简介
BlinkDB 简介
SparkR 简介

相关系统比较
Apache Hadoop MapReduce
Apache Tez
Storm


5：开发篇
Spark1.0.0 开发环境快速搭建

Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现
Spark1.0.0 多语言编程之Python实现

Spark1.0.0 应用


Spark1.0.0 和 Hbase
Spark1.0.0 和 RDBMS
SparkStreaming 和 flume
Spark SQL和hive

Spark1.0.0 案例


历史数据和实时数据分析
欺诈检测
推荐系统


6：源码篇
Spark1.0.0 源码研读环境搭建
一张图看懂Spark源码
Spark1.0.0内核解读

spark-submit 源码分析
RDD 解读
DAG Schedule 解读 
Task Scheduler 解读
Spark AKKA 解读
Spark log4j 解读
posted @ 2015-11-25 15:00  五三中  阅读(241)  评论(0)  编辑  收藏  举报