使用Selenium访问出现弹窗
摘要：大部分商业网站需要我们登录后才能爬取内容，所以对于爬虫来说，生成cookies给代理使用成为了一个必须要做的事情。今天我们交流下关于使用selenium访问目标网站遇到的一些问题。 因为业务需求我们需要采集小红书的一些数据，程序在挂上代理访问目标网站的时候弹出了验证框。如图所示 这个问题从来没有遇到
阅读全文
posted @
2021-04-20 17:17
小橙子11
阅读(1159)
推荐(0) 编辑
使用Selenium反爬(美团)
摘要：美团的反爬机制是非常完善的，在用selenium登陆淘宝的时候发现美团能检测到并弹出滑块，然后无论怎么滑动都通过不了，在经过一番搜索后发现很多网站对selenium都有检测机制，如检测是否存在特有标识 。接下来我们简单分享下使用代理访问美团进行数据采集。 示例如下： # -*- coding:UTF
阅读全文
posted @
2021-04-13 17:07
小橙子11
阅读(1541)
推荐(0) 编辑
