摘要: 之前在学习爬虫时,偶尔会遇到一些问题是有些网站需要登录后才能爬取内容,有的网站会识别是否是由浏览器发出的请求。 一、headers的获取 就以博客园的首页为例:http://www.cnblogs.com/ 打开网页,按下F12键,如下图所示: 点击下方标签中的Network,如下: 之后再点击下图 阅读全文
posted @ 2016-05-17 20:44 Maple2cat 阅读(16237) 评论(1) 推荐(1) 编辑