摘要:
背景 最近在阅读查询优化器的论文,发现System R中对于Join操作的定义一般分为了两种,即嵌套循环、排序-合并联接。在原文中,更倾向使用排序-合并联接逻辑。 考虑到我的领域是在处理分库分表或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑,对于两个不同库里面的不同 阅读全文
摘要:
spark为什么比mapreduce快? 首先澄清几个误区: 1:两者都是基于内存计算的,任何计算框架都肯定是基于内存的,所以网上说的spark是基于内存计算所以快,显然是错误的 2;DAG计算模型减少的是磁盘I/O次数(相比于mapreduce计算模型而言),而不是shuffle次数,因为shuf 阅读全文
摘要:
引言 近期在参与编写平台工程系列标准时,我发现开发者体验 (DevEx) 是一个不可忽视的关键因素,它对于构建一个成功的平台工程起到了重要的作用,DevEx 可以称之为平台工程的基础。基于我最近的学习和思考,我决定写这篇文章,想深入探讨一下 DevEx 对于内部开发平台的重要性,也希望为从事内部开发 阅读全文