爬虫介绍

阅读目录

• 一、什么是爬虫
• 二、哪些语言可以实现爬虫
• 三、爬虫分类
• 四、什么是robots.txt协议
• 五、反爬虫
• 六、反反爬虫
• 七、Python爬虫框架

回到顶部

一、什么是爬虫

　　在学习爬虫之前我们科普一下什么是爬虫呢？

• 爬虫就是编写程序模拟浏览器上网，然后让其取互联网上抓取数据的过程
• 访问1个站点，获取该站点的html代码
• 解析html代码，把感兴趣的数据从html代码里分离出来
• 保存这些数据

回到顶部

二、哪些语言可以实现爬虫

　　1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。

　　2.java：可以实现爬虫。java可以非常好的处理和实现爬虫，是唯一可以与python并驾齐驱且是python的头号劲敌。但是java实现爬虫代码较为臃肿，重构成本较大。

　　3.c、c++：可以实现爬虫。但是使用这种方式实现爬虫纯粹是是某些人（大佬们）能力的体现，却不是明智和合理的选择。

　　4.python：可以实现爬虫。python实现和处理爬虫语法简单，代码优美，支持的模块繁多，学习成本低，具有非常强大的框架（scrapy等）且一句难以言表的好！没有但是！

回到顶部

三、爬虫分类

　　根据使用场景可以分为如下两种场景：

　　　　1）搜索引擎如何抓取互联网上的网站数据？

　　　　　　　　a)门户网站主动向搜索引擎公司提供其网站的url

　　　　　　　　b)搜索引擎公司与DNS服务商合作，获取网站的url

　　　　　　　　c)门户网站主动挂靠在一些知名网站的友情链接中

　　　　 2)聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

回到顶部

四、什么是robots.txt协议

　　　　如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问www.taobao.com/robots.txt即可）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。

只要网站存在robots协议，我们都可以通过网站域名/robots.txt来访问其网站的robots协议，来查看哪些内容可以爬去，哪些内容不可以爬去

回到顶部

五、反爬虫

门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。

回到顶部

六、反反爬虫

爬虫程序通过相应的策略和技术手段，破解门户网站的反爬虫手段，从而爬取到相应的数据。

回到顶部

七、Python爬虫框架

Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。

URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。

网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)

网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析xml和HTML），html.parser和beautifulsoup以及lxml都是以DOM树的方式进行解析的。

应用程序：就是从网页中提取的有用数据组成的一个应用。

下面用一个图来解释一下调度器是如何协调工作的