11 2023 档案

爬虫之代理池、爬取视频网站、新闻、bs4
摘要：一、代理池搭建 1、频繁爬网站，ip容易被封 # ip代理 -每个设备都会有自己的IP地址 -电脑有ip地址 》访问一个网站 》访问太频繁 》封ip -收费：靠谱稳定--提供api -免费：不稳定--自己写api用 -开源的：https://github.com/jhao104/proxy_pool 阅读全文
posted @ 2023-11-03 20:50 凡人半睁眼 阅读(141) 评论(0) 推荐(0) 编辑
爬虫之requests模块
摘要：一、爬虫介绍 1、作用 使用程序 模拟发送http请求 》得到http响应 》把响应的数据解析出来 》存储起来 2、做爬虫需要掌握的技术 web端爬虫(网页) -抓包： -抓包工具 》浏览器，charles，fiddler。。。 -发送http请求的模块 -requests：同步的 》不仅仅做爬虫用 阅读全文
posted @ 2023-11-03 16:05 凡人半睁眼 阅读(86) 评论(0) 推荐(0) 编辑