摘要： 首先澄清几个误区： 1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的 2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言），而不是shuffle次数，因为shuffle是根据数据重组的次数而定，所以shu 阅读全文

摘要： 一、复杂度综述 1、什么是复杂度 软件设计的核心在于降低复杂性。 --《软件设计的哲学》 业界对于复杂度并没有统一的定义，斯坦福教授John Ousterhout从认知负担和工作量方面给出了一个复杂度量公式 子模块的复杂度cp乘以该模块对应的开发时间权重值tp，累加后得到系统的整体复杂度C 这里的子 阅读全文

摘要： 同时 Go 对于 GC 后回收的内存页, 并不是马上归还给操作系统, 而是会延迟归还, 用于满足未来的内存需求. 在 1.10 以前 go 的堆地址空间是线性连续扩展的, 比如在 1.10(linux amd64)中, 最大可扩展到 512GB. 因为 go 在 gc 的时候会根据拿到的指针地址来判 阅读全文

摘要： 前情提要： 最近新接了一个需求，需要去创建两张表，其中有一张表需要根据业务id和业务类型建立唯一索引，对数据唯一性进行约束。 因为涉及到业务嘛，表结构就进行缩略了 表结构示例如下： CREATE TABLE `example_table` ( `id` bigint(20) unsigned NOT 阅读全文

摘要： 1 概述 整个软件的发展历程是一部软件复杂性对抗史，软件的复杂性分为技术复杂性和业务复杂性，业务复杂性主要是建模和抽象设计，技术复杂性主要是三高（高性能，高并发，高可用）的应对，C端的业务一般以技术复杂性为主，业务复杂性为辅，而B端或者M端的业务通常以业务复杂性为主，技术复杂性为辅。本篇文章主要是从 阅读全文

摘要： 这是我参与创作者计划的第1篇文章 开篇 之前写过一篇文章，主要介绍visionPro基本信息、操作和基础适配的文章： http://sd.jd.com/article/30242?shareId=152384&isHideShareButton=1 恰逢2024黑客马拉松举行，我结合本次参赛的一个i 阅读全文

摘要： 一、背景及JADE介绍 买药秒送是健康即时零售业务新的核心流量场域，面对京东首页高流量曝光，我们对频道页整个技术架构方案进行升级，保障接口高性能、系统高可用。 动态线程池是买药频道应用的技术之一，我们通过3轮高保真压测最终初步确定了线程池的核心参数。但我们仍面临一些保障系统稳定性问题：如何监控线程池 阅读全文

摘要： 深海数据平台 致力于为每一个数据客户提供灵活化、一站式、智能化的数据开发与管理工具。同时，根据客户行业提供成熟的数据业务全链路解决方案，包括数据集成、开发、元数据管理等功能，帮助数据开发人员快速高效地完成数据相关工作，使得企业更加科学规划和合理构建全域数据，以开放的方式实现企业内部数据共享，充分发挥 阅读全文

摘要： 一、背景 在动态化-鸿蒙跨端方案文章中，讲述了动态化适配鸿蒙的方案实现，当在鸿蒙系统进行UI渲染的时候，我们使用了系统的组件进行递归渲染。在iOS和Android也是借助各自系统组件进行的渲染，但是在鸿蒙系统会存在以下4个严重问题： 1. UI层级过多 以金融APP理财频道页中的一个乐高楼层中的“7 阅读全文

摘要： 1. 引言 1.1 项目的背景及意义 在当今的微服务架构中，应用程序通常被拆分成多个独立的服务，这些服务通过网络进行通信。这种架构的优势在于可以提高系统的可扩展性和灵活性，但也带来了新的挑战，比如： 服务间通信的复杂性：不同服务之间需要进行可靠的通信，处理失败重试、负载均衡等问题。 故障的容错处理： 阅读全文