爬虫 | 防盗链和代理

合集 - 自学爬虫(5)

1.爬虫 | 基本步骤和解析网页的几种方法2024-06-052.爬虫 | xpath + lxml 库 解析爬取网页2024-06-113.爬虫 | 处理cookie的基本方法——session2024-06-12

4.爬虫 | 防盗链和代理2024-06-12

5.爬虫 | 多线程、多进程、协程2024-06-13

收起

防盗链referer：

一种反爬方式。一些网站在响应之前会先溯源，检查请求的网址X，是从哪个链接进入的（即上一级网址是谁），比如：通过网址A--->进入网址X，那么上一级就是A。如果发现上一级网址不存在，或者错误，则认为是其他歪门邪道来的，就不给你数据。这个就是防盗链referer。

# 防盗链的信息查看：F12 --- requests headers --- referer
# 破解防盗链：自己在请求头headers里加上referer即可。

代理proxies：理解为一种网络马甲。改变IP等等。

# 使用方式：找到一个代理IP，然后在请求的时候参数中加上proxies即可。