速记创建简单分布式爬虫

创建分布式爬虫

 

先创建普通爬虫

然后根据前者改造

 

 

1.1

 

限速可以参考我这篇博文

 

1.2

 

 

1.3

 注意：lpush的spidername要和redis_key一致，不然spider接受不到起始URL