07 2021 档案
摘要：requests分段下载文件 默认情况下，requests当你进行网络请求后，响应体会立即被下载，当数据过大时会导致内存不足。 这时候可以通过 stream 参数来设置请求数据。 当在请求上设置stream=True时，这避免了立即将内容读入内存以获得较大的响应。推迟下载响应体直到访问 Respon
阅读全文
摘要：一、前言 首先，rabbitMQ并没有为消息的重复消费而设计一种解决方法，这个解决方法需要我们来根据业务自己实现，我整理了几种常见的解决方法。 二、消息重复发送导致消息被重复消费的场景 第一个场景，在生产者发送消息给rabbitMQ服务器的时候，有可能因为网络波动等情况，导致生产者收不到rabbit
阅读全文
摘要：如何保证消息的顺序性？ 数据中台服务器A发送 创建学生信息 与 更新学生信息 两条消息。应用服务器B需要接受服务A的消息。接收到创建学生信息的消息就在表里创建一个学生记录。接受到更新学生的消息就更新学生基本信息。 如果B服务器部署了两台，服务A在很短的时间内发送了两条消息，那么服务B可能有一台做创建
阅读全文
摘要：面试题 如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？ 面试官心理分析 这个是肯定的，用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。 如果说你这个是用 MQ 来传递非常核心的消
阅读全文
摘要：分段上传允许上传单个对象作为一组分段。每个分段都是对象数据的连续部分。您可以独立上传以及按任意顺序上传这些对象分段。如果任意分段传输失败，可以重新传输该分段且不会影响其他分段。上传完所有的数据元分段后，Amazon S3 将汇集这些分段并创建数据元。一般而言，如果您的对象大小达到了 100 MB，您
阅读全文
