摘要：
一、概述Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 阅读全文
posted @ 2022-07-28 22:14
牧之丨
阅读(368)
评论(0)
推荐(0)
摘要：
一、面试题 Spark 通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？ hadoop和spark使用场景？ spark如何保证宕机迅速恢复? hadoop和spark的相同点和不同点？ RDD持久化原理？ checkpoint检查 阅读全文
posted @ 2022-07-28 22:13
牧之丨
阅读(1837)
评论(0)
推荐(0)
摘要：
1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。 这种异步方地批量的发送消息到kafka broker节点，因而可以 阅读全文
posted @ 2022-07-28 19:46
牧之丨
阅读(1826)
评论(0)
推荐(0)
摘要：
iaas，saas，paas，daas区别： Iaas（Infrastructure as a server）：基础设施即服务，是基础层。PaaS(Platform as a Server):平台即服务，云端把客户所需的软件的平台作出租。SaaS(Software as a Server):软件即服 阅读全文
posted @ 2022-07-28 16:51
牧之丨
阅读(739)
评论(0)
推荐(0)
摘要：
./redis-cli -a 111 KEYS “key*“ | xargs ./redis-cli -a 111 DEL 阅读全文
posted @ 2022-07-16 23:00
牧之丨
阅读(31)
评论(0)
推荐(0)
摘要：
方法一： git如何clone所有的远程分支 git clone只能clone远程库的master分支，无法clone所有分支，解决办法如下： 找一个干净目录，假设是git_work cd git_work git clone http://myrepo.xxx.com/project/.git , 阅读全文
posted @ 2022-07-16 14:43
牧之丨
阅读(1279)
评论(0)
推荐(0)
摘要：
问题描述：今天，在做微服务开发中，A服务区调用B服务，获取数据做导出excel操作。A服务出现了“java.net.SocketTimeoutException: Read timed out ”错误。 ConnectTimeout 连接超时 指的是 建立连接超时，也就是 A服务连接不上B服务，也许 阅读全文
posted @ 2022-07-06 12:13
牧之丨
阅读(2584)
评论(0)
推荐(0)
浙公网安备 33010602011771号