摘要：本人学爬虫一段时间，爬的都是简单的网页。但突然有一天爬网页被拦截，不知如何是好，问度娘上百次，总结了一下经验 在访问网页的时候被拦截，封你的IP，登录验证等手段不让爬客们得逞，但是道高一尺，魔高一丈。我开始研习突破反爬虫限制的功法 1.伪装流浪器报头 很多服务器通过浏览器发给它的报头来确认是否是人类 阅读全文

摘要：urllib 和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下 urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL 阅读全文

摘要：爬虫使用代理ip 获得代理IP的网站： http://www.xicidaili.com/ 验证代理是否可用的方式之一： globalUrl = "http://ip.chinaz.com/getip.aspx" 如何使用代理： 一 使用requests： ip = "http://" + i[0] 阅读全文

摘要：分类： Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据，使用了python自带的urllib和第三方库requests，解析html使用了beautifulsoup以及lxml 这里说下lxml，lxml是python的一个html、xml解析库，lxml使用XPath能快速 阅读全文

摘要：1.什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.什么是聚焦爬虫 聚焦网络爬虫（Focused Crawler），又称主题 阅读全文

只有注册用户登录后才能阅读该文。