2019年7月17日
Scrapy基础
摘要： 一、scrapy的优点 提供了内置的HTTP缓存，以加速本地开发 童工了自动节流调节机制，而且具有遵守robots.txt的内置的能力 可以定义爬行深度的限制，以避免爬虫进入死循环链接 会自动保留会话 执行自动HTTP基本认证，不需要明确保存状态 可以自动填写登入表单 scrapy有一个内置的中间件 阅读全文
posted @ 2019-07-17 14:35 Mr-Yao 阅读(316) 评论(0) 推荐(0) 编辑