scrapy基础知识之关于爬虫部分一些建议：

1.尽量减少请求次数，能抓列表页就不抓详情页，减轻服务器压力，程序员都是混口饭吃不容易。

2.不要只看 Web 网站，还有手机 App 和 H5，这样的反爬虫措施一般比较少。

3.实际应用时候，一般防守方做到根据 IP 限制频次就结束了，除非很核心的数据，不会再进行更多的验证，毕竟成本的问题会考虑到。