03 2022 档案
摘要：HTTP/1.1 的队头阻塞 问题：HTTP/1.1 是一个纯文本协议，它只在有效荷载（payload）的前面附加头（headers），在资源块（resource chunks）之间不使用分隔符。它不会进一步区分单个资源与其他资源。HTTP 规定报文必须是“一发一收”，这就形成了一个先进先出的串行队
阅读全文
摘要：CAP CAP原则又称CAP定理，指的是在一个分布式系统中： Consistency（一致性）：每次读操作都能保证返回的是最新数据。 Availability（可用性）：任何一个没有发生故障的节点，会在合理的时间内返回一个正常的结果。 备注：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写
阅读全文
摘要：（1）设计理念 1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。 2、Flink是基于事件驱动的，是面向流的处理框架, Flink基于每个事件一行一行地流式处理，是真正的流式计算.
阅读全文
摘要：券商作为证券市场的中介机构，承担了为广大投资者提供证券交易通道的市场责任。你知道交易指令是如何传递到交易所并最终成交的吗？ 上图是一个典型的券商交易系统逻辑架构，手机App、网上交易等系统称为渠道系统，职责是为投资者提供交易渠道，并对指令做初步的要素检查，最终所有合法交易指令都会发送到集中交易系统进
阅读全文
摘要：下面的左图为最简单的高速缓存的配置，数据的读取和存储都经过高速缓存，CPU核心与高速缓存有一条特殊的快速通道；主存与高速缓存都连在系统总线上（BUS）这条总线还用于其他组件的通信。 在高速缓存出现后不久，系统变得越来越复杂，高速缓存与主存之间的速度差异被拉大，直到加入了另一级缓存，新加入的这级缓存比
阅读全文
摘要：分段机制 分段(Segmentation)：这种方法是人们最开始使用的一种方法，基本思路是将程序所需要的内存地址空间大小的虚拟空间映射到某个物理地址空间。 每个程序都有其独立的虚拟的独立的进程地址空间，可以看到程序A和B的虚拟地址空间都是从0x00000000开始的。我们将两块大小相同的虚拟地址空间
阅读全文
摘要：事件驱动体系结构是目前比较广泛使用的一种。这种方式会定义一系列的事件处理器来响应事件的发生，并且将服务端接受连接与对事件的处理分离。其中，事件是一种状态的改变。比如，tcp中socket的new incoming connection、ready for read、ready for write。
阅读全文
摘要：数据丢失是一件非常严重的事情事，针对数据丢失的问题我们需要有明确的思路来确定问题所在，解决思路如下： 是否真正的存在数据丢失问题，比如有很多时候可能是其他同事操作了测试环境，所以首先确保数据没有第三方干扰。 理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者ka
阅读全文
摘要：引用：https://www.cnblogs.com/huzhanfei/p/kafka-rebalance-ji-zhi-he-xuan-ju-ce-lue-zong-jie.html Kafka作为大数据领域常用的消息中间件，其核心原理相对于其它消息中间件而言更为复杂，本文主要介绍Kafka消费
阅读全文
摘要：风起 2009 年微博刚刚上线的时候，微博关系服务使用的是最传统的 Memcache+Mysql 的方案。Mysql 按 uid hash 进行了分库分表，表结构非常简单： tid fromuid touid addTime 自增 id 关系主体 关系客体 加关注时间业务方存在两种查询： 查询用户的
阅读全文
摘要：Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？ 笼统的来说，b-tree索引是为写
阅读全文
摘要：HTTP/3原理 HTTP/3的来源 由于TCP和UDP两者在运输层存在一定差异，TCP的传递效率与UDP相比有天然劣势，于是Google基于UDP开发出了新的协议QUIC(Quick UDP Internet Connections)，希望取代TCP提高传输效率，后经过协商将QUIC协议更名为HT
阅读全文
摘要：数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。 它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时，你可以选择使用有损方法或无损方法。有损方法会永久性地擦除掉一些数据，而无损方法则能保证持有全部的数据。使用哪类方法取决于你要让你的文件保持多大的精准度。 本文会为你介
阅读全文
