python:selenium爬取boss网站被关小黑屋
问题描述:使用selenium访问次数过多,被boss反爬封掉IP,这种方式有什么好一点的解决方法,首次可以用图形验证解封,今天访问次数过多,被关进了小黑屋
首次让我用图形界面解封
不过还好,手动解封,第一次只是个警告,后边还是顺利爬到了数据。获取北京地区有关DBA的招聘信息,使用的是selenium库来解析网页,也使用了request的方式来解析网页,但是得不到网页的真实源代码。
问题描述:使用selenium访问次数过多,被boss反爬封掉IP,这种方式有什么好一点的解决方法,首次可以用图形验证解封,今天访问次数过多,被关进了小黑屋
首次让我用图形界面解封
不过还好,手动解封,第一次只是个警告,后边还是顺利爬到了数据。获取北京地区有关DBA的招聘信息,使用的是selenium库来解析网页,也使用了request的方式来解析网页,但是得不到网页的真实源代码。