摘要: 在数据采集的过程中,可能需要一些进程间的通信,如 一个进程负责构造爬取请求,另一个负责执行这些请求; 某个数据爬取进程执行完毕,通知另一个负责数据处理的进程开始爬取数据; 某个进程新建了一个爬取任务,通知另一个负责数据爬取的进程开始爬取数据。 为了降低进程耦合度,需一个消息队列中间件来存储和转发消息 阅读全文
posted @ 2024-05-04 18:50 脱下长日的假面 阅读(83) 评论(0) 推荐(0) 编辑