Pzwxy - 博客园

2016年5月24日

摘要：本期内容 1、ReceivedBlockTracker容错安全性 2、DStreamGraph和JobGenerator容错安全性一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以阅读全文

posted @ 2016-05-24 11:23 Pzwxy 阅读(357) 评论(0) 推荐(0)

Spark版本定制第12天：Executor容错安全性

摘要：本期内容： 1 Executor WAL 2 消息重放 3 其他一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。阅读全文

posted @ 2016-05-24 11:03 Pzwxy 阅读(204) 评论(0) 推荐(0)

Spark版本定制第11天：Driver中的ReceiverTracker架构设计以及具体实现彻底研究

摘要：本期内容： 1 RecerverTracker架构设计 2 ReververTacker具体实现一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLli 阅读全文

posted @ 2016-05-24 10:38 Pzwxy 阅读(272) 评论(0) 推荐(0)

2016年5月22日

Spark版本定制第10天：流数据生命周期和思考

摘要：本期内容： 1 数据流生命周期 2 深度思考一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Stre 阅读全文

posted @ 2016-05-22 13:29 Pzwxy 阅读(290) 评论(0) 推荐(0)

Spark版本定制第9天：Receiver在Driver的精妙实现全生命周期彻底研究和思考

摘要：本期内容： 1 Receiver生命周期 2 深度思考一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark 阅读全文

posted @ 2016-05-22 13:18 Pzwxy 阅读(264) 评论(0) 推荐(0)

Spark版本定制第8天：RDD生成生命周期彻底

摘要：本期内容： 1 RDD生成生命周期 2 深度思考一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark St 阅读全文

posted @ 2016-05-22 13:02 Pzwxy 阅读(717) 评论(0) 推荐(0)

Spark版本定制第7天：JobScheduler内幕实现和深度思考

摘要：本期内容： 1 JobScheduler内幕实现 2 深度思考一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 S 阅读全文

posted @ 2016-05-22 12:41 Pzwxy 阅读(905) 评论(0) 推荐(0)

Spark版本定制第6天：Job动态生成和深度思考

摘要：本期内容： 1 Job动态生成 2 深度思考一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Stre 阅读全文

posted @ 2016-05-22 12:29 Pzwxy 阅读(332) 评论(0) 推荐(0)

2016年5月9日

Spark学习笔记之32：Spark Worker启动Driver和Executor工作流程

摘要：一：Worker启动Driver和Executor的工作原理流程图二：Spark Worker启动Driver源码解析补充说明：如果Cluster上的driver启动失败或者崩溃的时候，如果driverDescription的supervise设置的为true的时候，会自动重启，由worker负阅读全文

posted @ 2016-05-09 18:45 Pzwxy 阅读(1485) 评论(0) 推荐(0)

2016年5月8日

Spark学习笔记之31：Spark资源调度

摘要：一：任务调度和资源调度的区别: 任务调度是指通过DAGScheduler，TaskScheduler，SchedulerBackend完成的job的调度资源调度是指应用程序获取资源的调度，他是通过schedule方法完成的二：资源调度解密因为master负责资源管理和调度，所以资源调度的方法s 阅读全文

posted @ 2016-05-08 21:08 Pzwxy 阅读(623) 评论(0) 推荐(1)