摘要: # 使用scrapy_redis的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 使用scrapy_redis的去重机制 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" # 阅读全文
posted @ 2021-07-05 11:35 lshan 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 准备工作 那怎么办呢,python里面有个模块是pdfkit,他可以帮咱们把一个html(也就是一个网页)变成一个pdf文件。 pdfkit是python对wkhtmltopdf这个把网页转成pdf工具的一个封装,所以咱们必须得先安装一个wkhtmltopdf, 这个工具的下载网站是:https:/ 阅读全文
posted @ 2021-07-05 11:03 lshan 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 原文: https://www.jb51.net/article/184464.htm Selenium Webdriver的 execute_cdp_cmd()来调用一下Chrome DevTools Protocal提供的方法。但是,很遗憾,没有全屏截图的方法。 Selenium2时,还可以使用 阅读全文
posted @ 2021-07-05 10:45 lshan 阅读(165) 评论(0) 推荐(0) 编辑