2016年7月21日
python 爬虫总结【转】
摘要： 1、基本抓取网页 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用 阅读全文
posted @ 2016-07-21 11:45 94julia 阅读(306) 评论(0) 推荐(0) 编辑