前端开发爬虫首选puppeteer
摘要：很多前端同学可能对于爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 python 、php 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。但这是大数据时代，数据的需求是不分前端还是后端的，既然由于 nodejs 强大的异步特性，让我们可以
阅读全文
posted @
2023-03-13 16:48
小橙子11
阅读(114)
推荐(0) 编辑
python3和scrapy使用亿牛云隧道代理问题以及代码
摘要：一、前言近期，我参与了一个需要爬取国家食品药品监督局数据的项目，但该网站存在IP屏蔽机制。因此，我需要在Scrapy框架中实现自动IP切换，才能完成任务。然而，尽管我使用了第三方库scrapy-proxys和代理API接口，但测试并不成功。爬取药监局数据是一项不容易完成的任务。这是因为该网站采用了多
阅读全文
posted @
2023-03-02 17:28
小橙子11
阅读(150)
推荐(0) 编辑
