摘要：
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 阅读全文
摘要：
一、面试题 Spark 通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？ hadoop和spark使用场景？ spark如何保证宕机迅速恢复? hadoop和spark的相同点和不同点？ RDD持久化原理？ checkpoint检查 阅读全文
摘要：
1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。 这种异步方地批量的发送消息到kafka broker节点，因而可以 阅读全文
摘要：
iaas，saas，paas，daas区别： Iaas（Infrastructure as a server）：基础设施即服务，是基础层。PaaS(Platform as a Server):平台即服务，云端把客户所需的软件的平台作出租。SaaS(Software as a Server):软件即服 阅读全文