爬虫 - 随笔分类 - kingron

摘要：龟叔带你探索 Python 协程的奥妙~ 阅读全文

posted @ 2021-06-30 kingron 阅读(314) 评论(0) 推荐(0) 编辑

摘要：安卓逆向初体验~ 阅读全文

posted @ 2021-03-10 kingron 阅读(625) 评论(0) 推荐(0) 编辑

摘要：简介 XPath：XML Path Language，一门在XML和HTML文档中查找信息的语言。插件安装： Chrome浏览器插件安装：XPath Helper 火狐浏览器插件安装：try XPath 常见语法选取节点 XPath使用路径表达式来选取XML文档中的节点（集）。表达式描述示阅读全文

posted @ 2020-09-21 kingron 阅读(1133) 评论(0) 推荐(0) 编辑

增量采集中的几种去重方案

摘要：引言数据采集工作中，难免会遇到增量采集。而在增量采集中，如何去重是一个大问题，因为实际的需要采集的数据也许并不多，但往往要在判断是否已经采集过这件事上花点时间。比如对于资讯采集，如果发布网站每天只更新几条或者根本就不更新，那么如何让采集程序每次只采集这更新的几条（或不采集）是一件很简单的事，数据库阅读全文

posted @ 2020-09-20 kingron 阅读(1312) 评论(0) 推荐(2) 编辑

去除爬虫采集到的\xa0、\u3000等字符

摘要：\xa0表示不间断空白符，爬虫中遇到它的概率不可谓不小，而经常和它一同出现的还有\u3000、\u2800、\t等Unicode字符串。单从对\xa0、\t、\u3000等含空白字符的处理来说，有以下几种方法可行：使用re.sub 使用正则表达式可以轻松匹配所有空白字符，它对于Unicode字符也阅读全文

posted @ 2020-09-20 kingron 阅读(660) 评论(0) 推荐(1) 编辑

selenium 控制窗口无限向下滚动

摘要：使用脚本 window.scrollBy(0, 1000)，放入 while True 循环，示例代码： while True: js = 'window.scrollBy(0, 1000)' driver.execute_script(js) 阅读全文

posted @ 2020-09-20 kingron 阅读(554) 评论(0) 推荐(0) 编辑

如何优雅的在scrapy中使用selenium —— 在scrapy中实现浏览器池

摘要：1 使用 scrapy 做采集实在是爽，但是遇到网站反爬措施做的比较好的就让人头大了。除了硬着头皮上以外，还可以使用爬虫利器 selenium，selenium 因其良好的模拟能力成为爬虫爱(cai)好(ji)者爱不释手的武器。但是其速度又往往令人感到美中不足，特别是在与 scrapy 集成使用时，阅读全文

posted @ 2020-09-20 kingron 阅读(1392) 评论(0) 推荐(0) 编辑

Loading

WONDERING

everything in the world~

随笔分类 - 爬虫

公告

搜索

随笔分类