01_初识爬虫

初识爬虫

1 、爬虫的相关概念

什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
原则上，只要是浏览器(客户端)能做的事情，爬虫都能够做.

如何获取爬虫程序
● 下载其他公司开发的通用爬虫(八爪鱼)
● 开发人员自己编写
区别
通用爬虫
可以提取大多数网站的数据，但是对于网站中某些特殊数据的提取方式没有实现

自定义爬虫
可以针对某一种网站自行开发符合要求的爬虫

开发语言
只要能够发送HTTP(S)请求的任何编程语言都是可以完成爬虫程序的，例如：C++、java、php、JavaScript等等，但是论爬虫开发效率一般都指的是python语言。

爬虫分类
根据抓取网站的数量不同，大致将爬虫分为两种：
● 通用爬虫：通常指搜索引擎的爬虫，例如：https://www.baidu.com
● 聚焦爬虫：针对特定网站的爬虫

2.爬虫流程以及案例演示

聚焦爬虫代码执行流程

1.

流程说明

1. 向起始地址发送请求，并获取响应
2. 对响应结果进行数据提取
3. 如果获取的数据是新的网站地址则继续发送请求并获取响应
4. 如果获取的数据为页面需要的数据则完成数据保存

3.HTTP与HTTPS协议

目前大部分网站是基于HTTP与HTTPS进行网络交互的，在爬虫程序中也是发送网络协议来获取对应的网站信息，所以还是有必要了解网络协议。

HTTP与HTTPS相关概念

• HTTP
  1. 超文本传输协议
  2. 默认端口号：80

• HTTPS
  1. HTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协议
  2. 默认端口号：443

HTTPS比HTTP更安全，但是性能更低。
理解HTTP协议
HTTP协议使用了TCP协议，接下来我们使用网络调试助手软件发送HTTP协议并携带hello world数据到浏览器。
软件下载地址：https://soft.3dmgame.com/down/213757.html

操作步骤：

1. 设置网络调试助手为TCP Server端
2. 浏览器链接网络调试助手
3. 发送HTTP协议到浏览器并携带数据
4. 断开连接，浏览器显示相应内容
   HTTP协议的重要信息
   在以上案例中，我们想要给浏览器发送信息并显示，就必须要带上HTTP协议。HTTP协议中有一部分数据对爬虫程序来说非常重要。分别是请求头与响应头。

常见的请求头参数

        Host (主机和端口号)
        Connection (链接类型)
        Upgrade-Insecure-Requests (升级为HTTPS请求)
        User-Agent(浏览器名称)
        Accept (传输文件类型)
        Referer (页面跳转处)
        Accept-Encoding（文件编解码格式）
        Cookie（Cookie信息）
        x-requested-with :XMLHttpRequest (表示该请求是Ajax异步请求)

响应头参数

        Set-Cookie （对方服务器设置cookie到用户浏览器的缓存）
        响应状态码
        200：成功
        302：临时转移至新的url(一般会用GET，例如原本是POST则新的请求则是GET)
        307：临时转移至新的url(原本是POST则新的请求依然是POST)
        403：无请求权限
        404：找不到该页面
        500：服务器内部错误
        503：服务不可用，一般是被反爬

浏览器发送HTTP请求过程
1. 客户端发送网站域名到DNS服务器
2. DNS服务器返回IP地址到客户端
3. 客户端根据返回的IP地址访问网站后端服务器并请求网站资源
4. 网站后端服务器返回对应页面资源

rebots协议
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是互联网中的约定而已，可以不用遵守。例如：https://www.taobao.com/robots.txt
在后期的Scrapy框架学习中，需要手动关闭Robots协议，现阶段了解即可。

谷歌浏览器插件

    XPath Helper
    Web Scraper
    Toggle JavaScript
    User-Agent Switcher for Chrome
    EditThisCookie
    SwitchySharp

插件下载地址：

https://extfans.com/
https://chrome.zzzmh.cn/#/index

请求测试软件

PostMan：https://www.postman.com/downloads
ApiPost：https://www.apipost.cn/download.html

4 编码

字符是各种文字和符号的总称，包括国家文字、标点符号、图形符号、数字等等。
字符集是多个字符的集合，字符集包括：ASCII、GB2312、Unicode等等。UTF-8是Unicode的实现方式之一

Python3中的字符串
● str：unicode的呈现形式
● bytes：字节类型，互联网上的数据都已以二进制的方式传输的

str与bytes类型的互相转换
● str使用encode方法转换为bytes
str_code = 'abc'
print(type(str_code))

byte_code = str_code.encode()
print(type(byte_code))

● bytes使用decode方法转换为str
byte_code = b'abc'
print(type(byte_code))

str_code = byte_code.decode()
print(type(str_code))
注意：编码方式必须和解码方式一样，否则就会出现乱码问题。例如使用utf-8编码，那么就必须使用utf-8解码。