摘要: 基本抓取网页 get方法 post方法 使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段: Cookies处理 cookies是某些网站为了辨别用户身份、进行session 阅读全文
posted @ 2019-05-24 13:51 AnthonyWang 阅读(148) 评论(0) 推荐(0) 编辑