罗西的思考 - 博客园

2021年5月

[源码解析] 并行分布式框架 Celery 之容错机制

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的故障转移容错机制。阅读全文

posted @ 2021-05-17 20:22 罗西的思考阅读(1892) 评论(0) 推荐(2) 编辑

[源码解析] 并行分布式任务队列 Celery 之负载均衡

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文介绍 Celery 的负载均衡机制。阅读全文

posted @ 2021-05-13 21:30 罗西的思考阅读(1081) 评论(1) 推荐(1) 编辑

[源码解析] 并行分布式任务队列 Celery 之 EventDispatcher & Event 组件

摘要： Celery是一个简单、灵活且可靠的，处理大量事件的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文讲解 EventDispatcher 和 Event 组件如何实现。阅读全文

posted @ 2021-05-10 21:02 罗西的思考阅读(755) 评论(2) 推荐(0) 编辑

[源码分析] 并行分布式任务队列 Celery 之 Timer & Heartbeat

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。之前我们用了十几篇文章，介绍了 Kombu 和 Celery 的基础功能。从本文开始，我们介绍 Celery 的一些辅助功能（比如负载均衡，容错等等）。其实从某种意义上来说，这些辅助功能更加重要。本文我们介绍 Timer 和 Heart 这两个组件。阅读全文

posted @ 2021-05-06 20:49 罗西的思考阅读(973) 评论(0) 推荐(0) 编辑

2021年4月

[源码分析]并行分布式任务队列 Celery 之子进程处理消息

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。在前文中，我们介绍了Celery 多线程模型，本文介绍子进程如何处理消息。阅读全文

posted @ 2021-04-25 20:48 罗西的思考阅读(388) 评论(0) 推荐(0) 编辑

[源码分析] 分布式任务队列 Celery 多线程模型之子进程

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。在前文中，我们介绍了Celery 多线程模型，但是我们略过了子进程这一个阶段，本文看看子进程如何继续启动。阅读全文

posted @ 2021-04-22 21:45 罗西的思考阅读(1418) 评论(0) 推荐(0) 编辑

[源码分析] 分布式任务队列 Celery 之发送Task & AMQP

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。在之前的文章中，我们看到了关于Task的分析，本文我们重点看看在客户端如何发送Task，以及 Celery 的amqp对象如何使用。阅读全文

posted @ 2021-04-19 20:40 罗西的思考阅读(1406) 评论(0) 推荐(0) 编辑

[源码解析] 并行分布式任务队列 Celery 之多进程模型

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。因为 Celery 通过多进程来提高执行效率，所以本文将带领大家初步了解 Celery 之多进程架构和模型。阅读全文

posted @ 2021-04-15 19:04 罗西的思考阅读(1830) 评论(3) 推荐(2) 编辑

[源码解析] 并行分布式任务队列 Celery 之消费动态流程

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。经过多篇文章之后，我们介绍了 Celery 如何启动，也介绍了 Task。本文我们就看看收到一个任务之后，Celery（包括 Kombu）内部的消费流程脉络（到多进程之前）。阅读全文

posted @ 2021-04-12 21:11 罗西的思考阅读(904) 评论(0) 推荐(0) 编辑

[源码解析] 并行分布式任务队列 Celery 之 Task是什么

摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本文目的是看看 Celery 的 task 究竟是什么，以及如果我们想从无到有实现一个 task 机制，有哪些地方需要注意，应该如何处理。阅读全文

posted @ 2021-04-08 21:31 罗西的思考阅读(1444) 评论(1) 推荐(4) 编辑

公告