摘要:
简介 最近面试被问到知不知道 continuous local storage,特此查一查。 官方文档参见 "github" 本地连续存储的工作方式与线程编程中的本地线程存储类似,但是基于 Node 风格的回调链而不是线程。 可为函数调用链设置和获取你想要的值 例子 设编写一个模块,获取数据和渲染是 阅读全文
摘要:
写作背景 自上一篇 "Node 爬虫心得" 来,有爬虫自然也会有反爬虫,爬虫这事就如道高一尺魔高一丈。 常用的有几种手段 针对请求头处理 针对 IP 限频 JS 渲染页面 验证码 针对请求头处理 Referer: https://www.mzitu.com/ User Agent: Mozilla/ 阅读全文
摘要:
简介 使用 Node 爬取信息和其他语言几乎步骤相同,都同样是以下几点 发起请求 解析内容 避免反爬虫 爬虫策略更新 注意:爬正规网站可能会有法律风险,但是那些小站,甚至自身就有问题的那种,总不怕啥问题。 发起请求 举个例子,笔者随手找了一个种子搜索站。发送下图请求,返回的是一个html页面 接着我 阅读全文