会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
张京墨
博客园
首页
新随笔
联系
订阅
管理
2019年9月18日
爬虫技术:cookies池的维护
摘要: 一:为什么要维护cookie 1.登录才能爬取内容 2.爬取频繁会被封号。 3.需要维护多个账号的cookie,实现大规模抓取 二:cookies的要求 1.自动登录更新 2.定期筛选验证 3.提供外部接口 三:cookies池的架构 # TODO 崔庆才 基于Flask和redis动态维护cook
阅读全文
posted @ 2019-09-18 17:04 张京墨
阅读(758)
评论(0)
推荐(0)
编辑
公告