爬虫学习笔记
前言
爬虫可以采集数据……
"'网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，获取响应数据，一种按照一定的规则，自动地抓取万维网信息的程序或脚本''
1 基础知识
网页HTML、CSS、JavaScripts
Robots协议基础
- User-agent:
- Disallow:
2 网页请求
Python HTTP请求库
# pip install requests
# 1、导入模块
import requests
# 2、发送get请求, 获取响应
response = requests.get('https://www.baidu.com/')
#3、从响应中获取数据
print(response.text)
requsts.requst() - > 构造一个请求，最基本的方法，是下面方法的支撑
requsts.get() - >获取网页，对应HTTP中的GET方法
requsts.post() - > 向网页提交信息，对应HTTP中的POST方法
requsts.head() - > 获取html网页的头信息，对应HTTP中的HEAD方法
requsts.put() - > 向html提交put方法，对应HTTP中的PUT方法
requsts.patch() - > 向html网页提交局部请求修改的的请求，对应HTTP中的PATCH方法
requsts.delete() - > 向html提交删除请求，对应HTTP中的DELETE方法
学习资源
https://www.heywhale.com/home/activity/detail/622706b9fd71770017f32077/content/1
