python爬虫个人小总结
这几天爬了豆瓣小组照片和小组成员信息,对一些小技术做下小结。源码在我的Github/mashaz上。
1.断点续爬
我的思路是把链接的list实时保存到文本文件里,每次打开后检测一次
2.Cookies
def Login(): f = open('cookies.txt','r') cookies = {} for line in f.read().split(','): name,value = line.strip().split('=',1) cookies[name] = value return cookies
3.CSV
第一次接触csv格式
cfile = file('info.csv','ab+') writer = csv.writer(cfile) writer.writerow(info) cfile.close()
刚逛v站看说豆瓣的防爬频率是白天40/min,晚上100/min,怪不得昨晚用的好好的,白天爬了一会儿就出验证码了。