会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Mr.Yao
博客园
新随笔
联系
订阅
管理
2019年7月17日
Scrapy基础
摘要: 一、scrapy的优点 提供了内置的HTTP缓存,以加速本地开发 童工了自动节流调节机制,而且具有遵守robots.txt的内置的能力 可以定义爬行深度的限制,以避免爬虫进入死循环链接 会自动保留会话 执行自动HTTP基本认证,不需要明确保存状态 可以自动填写登入表单 scrapy有一个内置的中间件
阅读全文
posted @ 2019-07-17 14:35 Mr-Yao
阅读(316)
评论(0)
推荐(0)
编辑
公告