01-爬虫概述

合集 - 抖音peiqi(18)

1.01-爬虫概述2024-02-11

2.02-requests2024-02-113.03-数据提取2024-02-114.04-xx军事自动登录2024-02-115.05-xx大学2024-02-116.06-图片验证码识别2024-02-117.07-反调试和周杰伦下载2024-02-118.08-selenium2024-02-119.09-验证-滑块2024-02-1110.10-验证-中文识别点选2024-02-1111.11-xx发展2024-02-1112.12-xx儿2024-02-1113.13-xx儿升级版2024-02-1114.14-TLS指纹2024-02-1115.15-mitmproxy2024-01-1416.16-x美2024-02-1117.17-x龙2024-02-1118.18-x盾2024-02-11

收起

1. 什么是爬虫？

用代码代替人去模拟浏览器或手机去执行执行某些操作。

例如：

• 自动登录钉钉，定时打卡
• 去91自动下载图片/视频
• 去京东抢茅台

3.分析&模拟

分析一个网址，用requests请求就可以实现。

3.1 请求分析

基于谷歌浏览器去分析。

3.2 模拟请求

基于requests模块发送请求。

pip3.11 install requests

案例1：花瓣网

https://huaban.com/

https://huaban.com/search?q=写真&sort=all&type=pin

案例2：腾讯课堂

https://ke.qq.com/course/list?mt=1001&quicklink=1&st=2056

res = requests.post(
    url="https://ke.qq.com/cgi-proxy/course_list/search_course_list?bkn=&r=0.0241",
    json={"mt": "1001", "st": "2056", "visitor_id": "5824118981510182", "finger_id": "c13d4a59f03ab3923748c030ff18aa58",
          "platform": 3, "source": "search", "count": 24, "need_filter_contact_labels": 1},
    headers={
        "Referer": "https://ke.qq.com/course/list?mt=1001&quicklink=1&st=2056"
    }
)