协程相关概念
摘要：
1.协程的相关概念： 阅读全文
posted @ 2023-07-03 20:21 与太阳肩并肩 阅读(3) 评论(0) 推荐(0) 编辑
异步爬虫之线程池案例应用
摘要：
1.爬取梨视频缓存本地视频_1: 2.爬取梨视频缓存本地视频_2: 3.下载至本地视频: 阅读全文
posted @ 2023-07-02 16:20 与太阳肩并肩 阅读(6) 评论(0) 推荐(0) 编辑
异步爬虫之线程池的基本使用
摘要：
1.串行方式执行程序记录： 2.串行使用8秒，使用线程池用了2秒： 阅读全文
posted @ 2023-07-02 10:00 与太阳肩并肩 阅读(5) 评论(0) 推荐(0) 编辑
代理在爬虫中的应用以及如何测试代理是否成功
摘要：
1.查看origin的value值如果和proxies相同，则代理生效： 2.测试代理成功后，将代理添加到爬虫程序中使用： 阅读全文
posted @ 2023-06-26 22:06 与太阳肩并肩 阅读(21) 评论(0) 推荐(0) 编辑
代理理论讲解
摘要：
代理： 破解放IP这种反爬机制代理的概念： - 代理服务器。代理的作用： - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站： - 快代理 - 西祠代理 - www.goubanjia.com 阅读全文
posted @ 2023-06-25 21:42 与太阳肩并肩 阅读(23) 评论(0) 推荐(0) 编辑
模拟登录cookie操作
摘要：
1.方法一自动添加cookie：定义session方法，登录后使用session.get（）代替requests.get()： 2.方法二：手动添加cookie_cookie请求登录用户主页1：先找到登录请求的url中的cookie: 3.方法二：手动添加cookie_cookie请求登录用户主页2 阅读全文
posted @ 2023-06-25 21:31 与太阳肩并肩 阅读(112) 评论(0) 推荐(0) 编辑
模拟登录实现流程梳理
摘要：
1.超级鹰验证码图片识别函数 '''思路： 1.requests对网址发送请求获取图片 2.下载图片图片到本地 3.用超级鹰识别图片获取验证码'''import requestsfrom lxml import etreefrom hashlib import md5# 封装识别验证码图片的函数# 阅读全文
posted @ 2023-06-24 15:15 与太阳肩并肩 阅读(23) 评论(0) 推荐(0) 编辑
