摘要：
HTTP（HyperTextTransferProtocol）即超文本传输协议，目前网页传输的的通用协议。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括message-header和message-body两部分。首先传递message-h... 阅读全文
摘要：
百度爬虫* Baiduspider+(+http://www.baidu.com/search/spider.htm”)google爬虫* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)* Google... 阅读全文
摘要：
1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 查看搜索引擎爬虫的USERAGENT值：http://www.cnblogs.com/grimm/p/5068092.html （http://www.geekso.com/spdier-useragent/ ）2.使用Sno... 阅读全文
摘要：
最近在做一些抓取其它网站数据的工作，当然别人不会乖乖免费给你抓数据的，有各种防抓取的方法。不过道高一尺，魔高一丈，通过研究都是有漏洞可以钻的。下面的例子都是用PHP写的，不会用PHP来curl的孩纸先学习一下这块再往下看，可以参考这篇文章：http://blog.csdn.net/linglongw... 阅读全文