摘要：
https://baike.baidu.com/item/spring/85061?fr=ge_ala 阅读全文
摘要：
1.声明bean的注解 @Component 组件，没有明确的角色 @Service 在业务逻辑层使用（service层） @Repository 在数据访问层使用（dao层） @Controller 在展现层使用，控制器的声明（C） 2.注入bean的注解 @Autowired：由Spring提供 阅读全文
摘要：
1、olap、oltp、htap数据库的区别： https://aws.amazon.com/cn/compare/the-difference-between-olap-and-oltp/ https://blog.51cto.com/kymdidicom/3145671 2、常见的olap数据库 阅读全文
摘要：
功能上，MR的shuffle和Spark的shuffle是没啥区别的，都是对Map端的数据进行分区，要么聚合排序，要么不聚合排序，然后Reduce端或者下一个调度阶段进行拉取数据，完成map端到reduce端的数据传输功能。 方案上，有很大的区别，MR的shuffle是基于合并排序的思想，在数据进入 阅读全文
摘要：
在Apache Spark中，Executor的资源分配可以是动态的，而不是写死的。Apache Spark提供了一种称为动态资源分配（Dynamic Allocation）的机制，允许根据应用程序的实际需求动态调整Executor的数量。 动态资源分配的主要思想是根据当前应用程序的工作负载来增加或 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/165158261 具体来说DAGScheduler的功能如下： 1.划分和创建Stage：根据RDD之间的依赖类型（窄依赖或宽依赖），为每个Job划分和创建Stage，多个Stage之间相互依赖，形成一个DAG（有向无环图）。 2.决定运行 阅读全文
摘要：
在Apache Hadoop和Apache Spark等分布式计算框架中，有两个重要的概念，即Application Master（应用程序主管）和Driver（驱动程序）。它们在不同的框架中可能有一些细微的差异，下面是它们的一般定义和区别： Application Master（应用程序主管）： 阅读全文