01爬虫简介

爬虫简介

目录

• 爬虫简介
  • 学习地址
  • 爬虫的实际例子
  • 什么是网络爬虫
  • 通用爬虫和聚焦爬虫
  • 为什么用Python写爬虫程序
  • http协议和chrome浏览器
  • 在浏览器发送一个http请求的过程
  • URL详解
  • 常用的请求方法：
  • 请求头常见参数
  • 常见响应状态码：
  • chrome抓包工具

学习地址

网易云课堂

爬虫的实际例子

1. 搜索引擎（百度、谷歌、360搜索等）
2. 伯乐在线
3. 惠惠购物助手
4. 数据分析与研究（数据冰山知乎专栏）
5. 抢票软件等

什么是网络爬虫

1. 通俗理解：爬虫是一个模拟认类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。
2. 专业介绍：网络爬虫（又称为网页蜘蛛，网络机器人）是一种按照一定规则，自动地抓取万维网信息的程序或者脚本。另外一些不经常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

通用爬虫和聚焦爬虫

1. 通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
2. 聚焦爬虫：是向特定需求的一种网络爬虫程序，它与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。

为什么用Python写爬虫程序

1. PHP：对对线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高。
2. Java：生态圈很完善，是Python爬虫最大竞争对手。但是Java语言代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常需要修改采集代码。
3. C/C++：效率高，但学习和开发成本高。写个小爬虫程序可能要大半天时间。
4. Python:语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

http协议和chrome浏览器

HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接受HTML页面的方法。服务器端口号是80端口。
HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。

在浏览器发送一个http请求的过程

1. 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为GET 和 POST两种方法。
2. 当我们在浏览器输入RUL http://ww.baidu.com的时候，浏览器发送一个Requests请求取获取http://www.baidu.com的html文件，服务器把Response文件发送回给浏览器。
3. 浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动发送Request取获取图片，CSS文件，或者JS文件。
4. 当所有的文件都下载成功之后，网页会根据HTML语法结构，完整的显示出来了。

URL详解

RUL是 Uniform Resource Locator的简写，统一资源定位符。一个URL由以下几部分组成：
Scheme://host:port/path/?query-string=xxx#anchor

• scheme:代表的是访问的协议，一般为http或者https以及ftp等。
• host: 主机名，域名，比如 www.baidu.com
• port: 端口号。当你访问一个网站的时候，浏览器会默认使用80端口。
• path: 查找路径。比如： www.jianshu.com/treding/now，后面的 treding/now 就是path。
• query-string: 查询字符串。比如： www.baidu.com/s?wd-python就是查询字符串。
• anchor:锚点，后台一般不用管，前端用来做页面定位的。

浏览器请求一个url，浏览器会对这个url进行一个编码。除英文字字母，数字和部分符号外，其他的全部使用百分号 + 十六进制值进行编码。

常用的请求方法：

在Http协议中，定义了八种请求方法。这里介绍两种常用请求方法，分别是get请求和post请求。

1. get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
2. post请求：向服务器发送数据（登录）、上传文件等，会对服务器资源产生影响的时候会使用post请求。以上使在网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反扒中机制，也经常会不按常理出牌，有可能一个用改使用get方法的请求就一定要改成post请求，这个要视情况而定。

请求头常见参数

在http协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在head中。这里介绍在网络爬虫中经常会使用到的一些请求头参数：

• User-Agent: 浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫发送请求，那么我们的User-Agent就是python，对于哪些由反扒中机制的网站来说，可以轻易的判断这个请求是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
• Referer: 表明当前这个请求时从哪个url过来的。这个一般也可以用来做反爬虫基数。如果不是从指定页面过来的，那么久不做相关的响应。
• Cookie: http协议时无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用cookie来标识。一般如果想要做登录后才能访问的网站那么就要发送cookie信息。

常见响应状态码：

1. 200：请求正常，服务器正常的返回数据。
2. 301：永久重定向。比如在访问www.jingdong.com的时候会重定向到www.jd.com。
3. 302：临时重定向。比如在访问一个需要登录的页面的时候，二此时没有登录，那么就会重定向到登录页面。
4. 400：请求的url在服务器上找不到。换句话说及时请求url错误。
5. 403：服务器拒绝访问，权限不够。
6. 500：服务器内部错误。可能时服务器出现了bug。

chrome抓包工具

Chrome浏览器是一个非常亲近开发者的浏览器。可以方便的查看网络请求以及发送的参数。对着网页 右键 ->检查 就能打开开发者选项。