爬虫01

爬虫

通过编写程序来获取互联网资源

---

需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源或者内容

python搞定以上需求

1. 导包 from urllib.request import urlopen

   2.写url

2. urlopen这个网址

3. 返回得到内容

web请求过程剖析

两种渲染方式：

• 服务器渲染： 在服务器那边直接把数据和html整合一起，统一返回给浏览器（即服务器收到的一定是带有内容的html）（数据能在源代码中找到的就是服务器渲染）

• 客户端渲染： 所用的浏览器即为客户端，第一次请求只要了一个html骨架，第二次请求拿到数据，然后进行数据展示。在页面源代码中看不到数据

  客户端向服务器发送网页请求，服务器会返回一个html骨架，就是只给了一个网页，里面没有内容，这时候客户端再次请求要数据，服务器返回数据，然后客户端接收数据后将该数据与骨架拼接。

HTTP协议

超文本传输协议，直白点，传输的就是网页页面源代码，浏览器和服务器之间的数据交互遵守的就是HTTP协议

HTTP在发送和得到数据分为请求和响应两大块

请求：1.请求行 （请求方式（get/post）、请求URL地址、协议）

2. 请求头 (放一些服务器要使用的附加信息)
3. 请求体（放请求参数）

响应： 1.状态行（协议、状态码（200 302 500 404等））

2.响应头 (放一些客户端要使用的附加信息)

3.响应体（服务器返回的真正客户端要用的内容（html、json）等)

写爬虫格外注意请求头和响应头，这两个部分一般隐含较为重要的内容

请求头中常见重要内容：

• User-Agent :请求载体的身份标识（浏览器，用什么浏览器发送的请求）
• Refer:防盗链（这次请求是从哪个页面来的，反爬会用到）
• cookie：本地字符串数据信息（用户登录信息，反爬的token）

响应头中常见重要内容：

• cookie：本地字符串数据信息（用户登录信息，反爬的token）
• 各种神奇的莫名其妙的字符串（一般都是token字样，放置各种攻击和反爬）

请求方式：

GET 显示提交: 查询东西用get居多 在浏览器地址栏里头的都是get方式提交的

POST 隐示提交:对服务器内容增加修改，上传一些内容用post居多

---

# 入门超小爬虫
from urllib.request import urlopen

url = "http://www.baidu.com"
response = urlopen(url)


with open("mybaidu.html", mode="w", encoding="utf-8") as f:
    f.write(response.read().decode("utf-8"))  # decode解码 读取到网页的页面源代码
print("over")