06 2020 档案
摘要：一、切换页面 有时候窗口中有许多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to.window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。 1 from selenium import webdriver 2 3
阅读全文
摘要：一、操作cookie 1 from selenium import webdriver 2 3 driver_path = 'D:\chromedriver\chromedriver.exe' 4 driver = webdriver.Chrome(executable_path=driver_pa
阅读全文
摘要：有时候在页面的操作很多，那么这时候可以使用行为链类ActionChains类完成。比如 现在要将鼠标移动到某个元素上并执行点击事件。 1 from selenium import webdriver 2 from selenium.webdriver.common.action_chains imp
阅读全文
摘要：一、常见的定位元素方法 1 from selenium import webdriver 2 from selenium.webdriver.common.by import By 3 driver_path = 'D:\chromedriver\chromedriver.exe' 4 driver
阅读全文
摘要：在爬取一些网页的时候，会发现网页的有些内容是通过JS动态加载的，也就是说是ajax数据，如下图。整个如果需要查看更多的文章，就需要【阅读更多】按钮，这时页面就会加载更多的文章，但是此时网页的网址是不会改变的，没有类似page这种表示页数的参数。这种加载方式就是ajax数据。这种数据通过普通的爬虫是获
阅读全文
摘要：其中，put和get函数都一个block参数，默认为ture。表示如果队列中为满或者空，那么就会一直阻塞，直到队列可操作。 1 import threading,time 2 from queue import Queue 3 4 def set_value(q): 5 index = 0 6 wh
阅读全文
摘要：1 import threading 2 import time 3 def coding(): 4 for i in range(3): 5 print('输入代码%s' %i) 6 time.sleep(1) 7 def drawing(): 8 for i in range(3): 9 pri
阅读全文
摘要：要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了： 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider；或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCr
阅读全文