摘要：
## 一、模块安装 pip install requests ## 二、常用方法 在实际的爬虫中，其实真正用到的只有 GET、POST，像其他的方法基本用不到，比如：DELETE、HEAD、PUT 等。 ### 1、GET 方法 headers = {'user-agent': 'my-app/0. 阅读全文
摘要：
# Python 自动化爬虫利器 Playwright Python Playwright 是一个基于 Node.js 的自动化测试库，它支持多种浏览器（Chrome、Firefox、Safari、Edge等），并提供了一些方便的 API 来模拟用户在浏览器中的行为。本篇将介绍 Python Pla 阅读全文
摘要：
引言 最近看了《软技能：代码之外的生存指南》这本书，对其中的 "十步学习法"。 有一些感触，所以将其中的内容记录并总结了下来，分享给大家。 程序员在学习成长的过程中，除了关注技术的发展。 同时也应该要学习一些软技能，用于提升自己的认知及格局。 十步学习法 01 了解全局 了解全局就是要对自己将要学习 阅读全文
摘要：
轻松绕过 Graphql 接口爬取有米有数的商品数据 有米有数数据的 API 接口，使用的是一种 API 查询语言 graphql。所有的 API 只有一个入口，具体的操作隐藏在请求数据体里面传输。 模拟登录，获取 sessionId 调用登录接口，进行模拟登录。 cookies = {} head 阅读全文
摘要：
轻松爬取灰豚数据的抖音商品数据 调用两次登录接口实现模拟登录 我们分析登录接口，发现调用了两次不同的接口；而且，需要先调用 https://login.huitun.com/weChat/userLogin，然后再调用 https://dyapi.huitun.com/userLogin 接口。 登 阅读全文
摘要：
抽丝剥茧成功破解红人点集的签名加密算法 抽丝剥茧破解登录签名算法，成功实现模拟登录 headers = {} phone_num = "xxxx" password = "xxxx" md5_hash = hashlib.md5() md5_hash.update(password.encode() 阅读全文
摘要：
成功绕过阿里无痕验证码，一键爬取飞瓜数据 飞瓜数据的登录接口，接入了阿里云的无痕验证码；通过接口方式模拟登录，难度比较高。所以，我们使用自动化的方式来实现模拟登录，并且获取到 cookie 数据。 [阿里无痕验证码] https://help.aliyun.com/document_detail/1 阅读全文
摘要：
使用爬虫利器 Playwright，轻松爬取抖查查数据 我们先分析登录的接口，其中 url 有一些非业务参数：ts、he、sign、secret。 然后根据这些参数作为关键词，定位到相关的 js 代码。 最后，逐步进行代码的跟踪，发现大部分的代码被混淆加密了。 花费了大半天，来还原这些混淆加密的代码 阅读全文
摘要：
一文教你从零开始入门蝉妈妈数据爬取，成功逆向破解数据加密算法 通过接口进行模拟登录 我们先通过正常登录的方式，分析对应的登录接口。通过 F12 打开谷歌浏览器的调试面板，可以看到登录需要传递的一些参数；其中看到密码是被加密了。 不过我们通过经验可以大概猜测一下，应该是通过 md5 算法加密了。 接下 阅读全文
摘要：
业务侧申请redis服务器资源时，需要事先对redis容量做一个大致评估，之前的容量评估公式基本只是简单的 （key长度 value长度）* key个数，误差较大，后期经常需要进行缩扩容调整，因此提出一个较精确的redis容量评估模型就显得很有必要。 先来查看一个命令： info memory us 阅读全文