2018年10月26日
Python3爬虫（十八） Scrapy框架（二）
摘要： 对Scrapy框架（一）的补充 Infi-chu: http://www.cnblogs.com/Infi-chu/ Scrapy优点： 提供了内置的 HTTP 缓存 ，以加速本地开发 。 提供了自动节流调节机制，而且具有遵守 robots.txt 的设置的能力。 可以定义爬行深度的限制，以避免爬虫 阅读全文
posted @ 2018-10-26 16:40 Infi_chu 阅读(369) 评论(0) 推荐(0) 编辑