Strava
2020年10月18日
速记创建简单分布式爬虫
摘要： 创建分布式爬虫 先创建普通爬虫 然后根据前者改造 1.1 限速可以参考我这篇博文 1.2 1.3 注意：lpush的spidername要和redis_key一致，不然spider接受不到起始URL 阅读全文
posted @ 2020-10-18 11:50 cheflone 阅读(75) 评论(0) 推荐(0) 编辑