python爬虫 selenium+phantomjs动态解析网页,加载页面成功,返回空数据
废话不多说,直接说重点:
刚开始做的时候,代理IP,头部信息池,都已经做好了,使用selenium+phantomjs获取js动态加载后的源码
起初挺好的,能出来动态加载后的源码,但是运行了几次之后,电脑有点卡顿(估计是运存太小),源码就获取不到了,返回的数据
都是空数据,以至于都是出错
在做的时候一定要给页面加载之前做一个延时,以保证页面的正常加载出来,这样我们才能获取导数据
我在加载前后都做了延时等待,当然,我这个就是说这个意思,没必要仿照
可以根据自己的需求进行设置,然后源码就加载出来了,就是有点慢!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步