day3

一 爬虫介绍

     近年来，随着网络应用逐渐扩展与深入，如何高效地获取网上数据成为了无数公司和个人的追求，在如今这大数据时代里，谁能掌握更多的数据，谁就可以获取更高的利益，而网络爬虫其中最为常用的一种手段就是从网上爬虫数据。

　 网络爬虫，即Web Spider，是一个很形象的名字，如果把互联网比喻成蜘蛛网，互联网中的数据比喻成蜘蛛网上的猎物，那么Spider就是在网上爬来爬去的蜘蛛。网络爬虫是通过网页的链接地址来寻找网页的，从网页的主页开始，读取网页的内容，找到在主页中的其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网上的蜘蛛就可以通过这个原理把互联网上所有的页面都抓取下来。

1、什么是互联网？

互联网其实是由一堆网络设备（比如: 网线、路由器、交换机、防火墙等等...）与一台台的计算机连接而成，就像一张蜘蛛网一样。

2、互联网建立的目的

互联网的核心价值: 数据是存放在一台台计算机中的，而互联网是把计算机互联到一起，也就是说把一台台计算机中的数据都捆绑到一起了，目的就是为了能够方便每台计算机彼此之间数据的传递与数据的共享，否则你只能拿到U盘或者是移动硬盘去别人的计算机上拷贝数据了。

3、什么是上网？

上网其实指的是有用户端（客户端）的计算机向目标计算机发送请求，将目标计算机的数据下载到客户端计算机的过程。

二 爬虫的基本流程

爬虫的基本流程其实就是模拟浏览器往目标站点发送请求，那浏览器发送的是http协议数据格式的请求，http协议的底层其实就是TCP协议数据格式。其实浏览器是一个套接字客户端，访问的目标站点是一个套接字服务端。那套接字客户端要与套接字服务端建立链接，得先拿到 ”客户端的ip和端口“ 与 ”服务端的ip和端口“ ，然后套接字客户端才向套接字服务端发送一次connection的请求，通过三次握手建立双向链接，此时形成了两条管道，一条是客户端往服务端发送数据的管道，另一条是服务端接收到请求后把数据返回给客户端的管道。那浏览器会沿着第一条管道往服务端发送的http协议的请求，服务端会把响应数据打包成http协议的数据格式，沿着第二条管道返回给客户端。这就是爬虫的基本流程。

1.发起请求:
　　使用http库向目标站点发起请求，即发送一个Request
　　Request包含：请求头、请求体等...

2.获取响应内容
　　如果服务器能正常响应，则会得到一个Response
　　Response包含：html，json，图片，视频等...

3.解析内容
    解析html数据：
        正则表达式，第三方解析库如Beautifulsoup，pyquery等

    解析json数据：
        json模块

    解析二进制数据:
        以b的方式写入文件

4.保存数据
　　数据库
　　文件   

三 请求与响应

URL:
    即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
    互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成：
    ①第一部分是协议(或称为服务方式)。
    ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
    ③第三部分是主机资源的具体地址，如目录和文件名等

http协议：
    https://www.cnblogs.com/kermitjam/p/10432198.html

robots协议: 
    https://www.cnblogs.com/kermitjam/articles/9692568.html

Request：
    用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

Response：
    服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

ps：
　　浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。

四 Request

常用的请求方式：
    GET，POST

其他请求方式：
    HEAD，PUT，DELETE，OPTHONS

POST与GET请求最终都会拼接成这种形式：
    k1=xxx&k2=yyy&k3=zzz

POST请求的参数放在请求体内：
    可用浏览器查看，存放于form data内。而GET请求的参数直接放在url后。

示例:
    演示登录与不登录获取的数据，以及请求方式。

url全称统一资源定位符：
    如一个网页文档，一张图片,一个视频等都可以用url唯一来确定。

url编码: 
    https://www.baidu.com/s?wd=图片
    图片会被编码（看示例代码）

网页的加载过程是：
    加载一个网页，通常都是先加载document文档，在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求。

User-Agent：
    请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户。
　　　　
Cookies：
    cookie用来保存登录信息。

Referer:
    浏览器上次访问的网页url, 一般做爬虫都会加上请求头。

GET请求方式，请求体没有内容。
POST请求方式，请求体是format data。

ps：
    1、登录窗口，文件上传等，信息都会被附加到请求体内。
    2、登录，输入错误的用户名密码，然后提交就可以看到POST请求体，正确登录后页面通常会跳转，无法捕捉到POST请求体。

import requests

from urllib.parse import urlencode

url = 'http://www.baidu.com/s?' + urlencode({'wd': "美女"})

response = requests.get(url)

print(response.text)

五 Response

1、响应状态: 
    200：代表成功
    301：代表跳转
    404：文件不存在
    403：权限
    502：服务器错误

2、响应头: Respone header
    set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来。
    
3、网页源代码: preview
    最主要的部分，包含了请求资源的内容,如网页html、图片和二进制数据等。