Riordon

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: :: :: 管理 ::

2016年8月3日

摘要: 本文档是学习RDD经典论文《Resilient Distributed Datasets: A Fault Tolerant Abstraction for In Memory Cluster Computing》的学习笔记。 date:2016/8/3 author:wangxl 1 引言 一种分 阅读全文
posted @ 2016-08-03 18:30 Riordon 阅读(608) 评论(0) 推荐(0) 编辑

摘要: 本文档主要收集大数据技术相关经典文章(译文),经典读10遍胜于普通文章读千万篇。 "1.RDD:基于内存的集群计算容错抽象" "2.大型集群上的快速和通用数据处理架构" 阅读全文
posted @ 2016-08-03 15:30 Riordon 阅读(198) 评论(0) 推荐(0) 编辑

摘要: 本文档基于Spark2.0,对spark启动脚本进行分析。 date:2016/8/3 author:wangxl Spark配置&启动脚本分析 我们主要关注3类文件,配置文件,启动脚本文件以及自带shell。 1 文件概览 conf/ ├── docker.properties.template 阅读全文
posted @ 2016-08-03 11:39 Riordon 阅读(8429) 评论(0) 推荐(0) 编辑