摘要： 1，随机更换 user-agent： 将足够多的user-agent放在settings中，在parse方法中调用 缺点：每一个request中都要调用这个方法 这个是scrapy的流程图。 既然每一次下载都需要通过中间件，那么为什么不写在中间件里面呢？ scrapy怎么写呢？ 在官方文档中可以知道 阅读全文