摘要: https://blog.csdn.net/qq_39377418/article/details/103845118 做爬虫最大的困扰就是对方的反爬措施,最好不要强攻,能绕过就绕过, selenium 指纹被做了记号如何破?这个时候说明对方已经检测了你的行为特征,这是一个比较严肃的问题,尤其是在破 阅读全文
posted @ 2024-04-12 01:03 xiondun 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 文章开始之前,我们先来看一个常见的问题: 接到一个任务,需要抓取某个网站上的数据内容,网页上需要输入搜索关键词,然后点击搜索按钮,等待页面加载完毕,获取网页上的搜索结果,而每一个搜索结果项,都需要点击展开才能查看到具体内容。 对于该问题,我们可以从网上找到一些解决问题的途径,但是大都不是很全面。这里 阅读全文
posted @ 2024-04-12 00:12 xiondun 阅读(442) 评论(0) 推荐(0) 编辑
摘要: Python3.x:Selenium+PhantomJS爬取带Ajax、Js的网页及获取JS返回值 前言 现在很多网站的都大量使用JavaScript,或者使用了Ajax技术。这样在网页加载完成后,url虽然不改变但是网页的DOM元素内容却可以动态的变化。如果处理这种网页是还用requests库或者 阅读全文
posted @ 2024-04-12 00:05 xiondun 阅读(44) 评论(0) 推荐(0) 编辑