会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
mashaz
博客园
首页
新随笔
联系
订阅
管理
2017年3月4日
python爬虫个人小总结
摘要: 这几天爬了豆瓣小组照片和小组成员信息,对一些小技术做下小结。源码在我的Github/mashaz上。 1.断点续爬 我的思路是把链接的list实时保存到文本文件里,每次打开后检测一次 2.Cookies 3.CSV 第一次接触csv格式 刚逛v站看说豆瓣的防爬频率是白天40/min,晚上100/mi
阅读全文
posted @ 2017-03-04 15:57 mashaz
阅读(197)
评论(0)
推荐(0)
编辑
公告