摘要: try: self.browser.get(request.url) if page > 1: print(page) # input = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '# J_bottomPage 阅读全文
posted @ 2020-04-16 16:06 自由的射手 阅读(1193) 评论(0) 推荐(0) 编辑
摘要: 爬虫实现翻页功能from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_condition 阅读全文
posted @ 2020-04-16 16:04 自由的射手 阅读(5247) 评论(0) 推荐(0) 编辑
摘要: 近日正在学习python Scrapy,以豆瓣网页为目标,本篇随笔主要记录爬取豆瓣登录二维码(抓取及保存)在爬取中,需要设置等待页面加载的时间,否则会出现无法定位到网页元素的问题,因为这个问题,我弄了一上午。。。#coding = utf-8# -*- coding:utf-8 -*-from se 阅读全文
posted @ 2020-04-16 15:12 自由的射手 阅读(499) 评论(0) 推荐(0) 编辑