2019年8月26日
【Python3爬虫】快就完事了--使用Celery加速你的爬虫
摘要： 一、写在前面 在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 二、知识补充 1.class celery.group group这个类表示创建一组要并行执行的任务，不过一组 阅读全文
posted @ 2019-08-26 10:51 onionono 阅读(1681) 评论(1) 推荐(1) 编辑