随笔分类 - Python爬虫
发表于 2023-08-22 09:23阅读：43评论：0推荐：0
摘要：# [【一】初识爬虫](https://www.cnblogs.com/dream-ze/p/17647599.html) # [【二】爬虫核心之requests](https://www.cnblogs.com/dream-ze/p/17647600.html) # [【三】爬虫解析之Beauti
阅读全文 »
发表于 2023-08-22 09:16阅读：448评论：0推荐：0
摘要：# 【补充】代理池搭建 ## 【1】引入 - 代理池是一种用于获取可用代理服务器的工具，可以帮助用户在发送请求时隐藏真实IP地址并提高访问稳定性。 > - 开源的代理池核心原理：https://github.com/jhao104/proxy_pool > - 1 使用爬虫技术，爬取网上免费的代理
阅读全文 »
发表于 2023-08-22 09:16阅读：40评论：0推荐：0
摘要：# 【一】后端防爬虫 后端防爬虫是指通过一系列措施和技术手段来保护网站或应用程序不受到未经授权的自动化访问（爬取）的影响。 # 【二】频率限制（IP、用户） - 使用限流算法，例如令牌桶算法或漏桶算法，在单位时间内限制同一IP地址或用户的请求次数。 - 为每个请求标识唯一的身份信息，如IP地址或用户
阅读全文 »
发表于 2023-08-22 09:15阅读：183评论：0推荐：0
摘要：# 【一】HTTP和HTTPS的区别 - HTTP协议的英文全称是**Hyper Text Transfer Protocol**，它是一种用于传输超文本的应用层协议。 - HTTP在Web浏览器和Web服务器之间进行通信时使用，它通过客户端发送请求来获取Web资源，并通过服务器响应返回请求的结果。
阅读全文 »
发表于 2023-08-22 09:13阅读：37评论：0推荐：0
摘要：# 【一】前提：代理池搭建 ## 【1】引入 - 代理池是一种用于获取可用代理服务器的工具，可以帮助用户在发送请求时隐藏真实IP地址并提高访问稳定性。 > - 开源的代理池核心原理：https://github.com/jhao104/proxy_pool > - 1 使用爬虫技术，爬取网上免费的代
阅读全文 »
发表于 2023-08-22 09:12阅读：34评论：0推荐：0
摘要：# 【案例】登陆博客园 ## 【1】思路分析 - 打开cnblogs - 点进登录页面 - 输入用户名密码 - 点登录(可能会出现验证码) 手动操作跳过验证码 - 登录成功后 - 拿到cookie - 保存到本地 - 关闭浏览器 - 开启selenium，打开浏览器 - 把本地的cookie写入到当
阅读全文 »
发表于 2023-08-22 09:12阅读：131评论：0推荐：0
摘要：# 【一】引言 ## 【1】启动Spider项目位置 > - **注意：** > - **如果终端还在第一个项目的文件夹中，则需要在终端中执行cd ../返回到上级目录，在去新建另一个项目。** ## 【2】新建数据解析项目 ### （1）创建工程 ```shell scrapy startproj
阅读全文 »
发表于 2023-08-22 09:11阅读：63评论：0推荐：0
摘要：# 【一】Scrapy框架基本介绍 ## 【1】Scrapy一个开源和协作的框架 - 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， - 使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 - 但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以
阅读全文 »
发表于 2023-08-22 09:11阅读：185评论：0推荐：0
摘要：# web自动化 - 随着互联网的发展，前端技术也在不断变化，数据的加载方式也不再是单纯的服务端渲染了。 - 现在你可以看到很多网站的数据可能都是通过接口的形式传输的， - 或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。 - 这时，如果你还用 reque
阅读全文 »
发表于 2023-08-22 09:09阅读：34评论：0推荐：0
摘要：# 【**xpath解析**】 - xpath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但xpath明显比re具有优势，在网页分析上使re退居二线。 - xpath 全称为**XML Path Language** 一种小型的**
阅读全文 »
发表于 2023-08-22 09:09阅读：104评论：0推荐：0
摘要：# 【BS4模块】 > - 参考博客：https://www.cnblogs.com/dream-ze/p/17180395.html # 【一】简介 ## 【1】介绍与安装 - 简单来说，Beautiful Soup是python的一个库 - 最主要的功能是从网页抓取数据。 - 官方解释如下： `
阅读全文 »
发表于 2023-08-22 09:08阅读：135评论：0推荐：0
摘要：# 【一】**Requests**模块简介 ## 【1】简解 - Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。 - 它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 - 是一个功能强大、简
阅读全文 »
发表于 2023-08-22 09:08阅读：82评论：0推荐：0
摘要：# 【一】Python爬虫简介 - Python爬虫是一种自动化获取互联网数据的技术，它通过编写程序实现自动访问网站并抓取所需的数据。 # 【二】爬虫的定义 - 爬虫是一种自动化获取互联网数据的技术，通过模拟浏览器行为，向目标网站发送请求并获取响应，然后解析响应中的数据。 - 应用领域：爬虫可以应用
阅读全文 »