摘要:
软件架构师是指在软件项目开发过程中,根据客户的需求以及行业市场等需求将所开发的软件,根据客户的需求以及行业市场的需求将软件所要实现的需求功能转换为规范的软件开发计划及文本,将将软件开发过程中所涉及的流传的流程与架构进行设计和管理,制定项目的总体架构并指导整个开发团队实施的专业人员。是主导系统全局分析 阅读全文
摘要:
依赖关系 宽窄依赖 宽依赖:有shuffle 父RDD的一个分区会被子RDD的多个分区所依赖 窄依赖:没有shuffle 父RDD的一个分区只会被子RDD的1个分区所依赖 为什么需要宽窄依赖 总结: 窄依赖: 并行化+容错 宽依赖: 进行阶段划分(shuffle后的阶段需要等待shuffle前的阶段 阅读全文
摘要:
今天学习了Spark内核原理,理清楚了其中的工作机制。阅读了王概凯的架构漫谈,颇有收获。 阅读全文