05 2024 档案
摘要：AST 是源代码的抽象语法结构的树状表示。利用它可以还原混淆后的js代码。 @babel/parser 是js语法编译器 Babel 的 nodejs 包，内置很多分析 js 的方法，可以实现js到AST的转换。 JS 转为 AST：https://astexplorer.net/ 准备工作： 需安
阅读全文
摘要：案例引入： 先看一个网站：https://www.httpbin.org/delay/5, 该网站会强制等待5秒后才返回响应。如果想访问100次该网站，单线程的情况下，至少要等待500秒才能全部执行完毕。为了提高访问效率，可以使用协程实现加速。 首先需要了解一些基础概念： 阻塞：指程序未得到所需计算
阅读全文
摘要：在数据采集的过程中，可能需要一些进程间的通信，如 一个进程负责构造爬取请求，另一个负责执行这些请求； 某个数据爬取进程执行完毕，通知另一个负责数据处理的进程开始爬取数据； 某个进程新建了一个爬取任务，通知另一个负责数据爬取的进程开始爬取数据。 为了降低进程耦合度，需一个消息队列中间件来存储和转发消息
阅读全文
