2022年11月6日
笔趣阁分布式flask爬虫
摘要： 通过flask+mongo+requests实现一个主从分布式爬虫 一：分布式爬虫介绍 1、对等分布式：每台机器上的的爬虫都一致 无论那台机器掉线，都不会影响其他机器的爬虫 可以根据需求动态的增/删计算机和爬虫的数量 试用场景：非递进关系网站 2、主从分布式：不同的机器类型做不同的动作，例如主机器只 阅读全文
posted @ 2022-11-06 16:59 是四不是十 阅读(168) 评论(0) 推荐(0) 编辑