摘要:
import asyncio import time async def request(url): print('正在下载',url) #在异步协程中如果出现了同步模块相关的代码,那么就无法实现异步。 # time.sleep(2) #当在asyncio中遇到阻塞操作必须进行手动挂起 await 阅读全文
摘要:
目的:在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式: - 多线程: 多进程(不建议): 好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行; 弊端:无法无限制的开启多线程或者多进程; - 线程池、进程池(适当的使用): 好处:可以降低系统对进程或者线程创建和销毁的一 阅读全文
摘要:
from selenium import webdriver from time import sleep #导入动作链对应的类 from selenium.webdriver import ActionChains bro = webdriver.Chrome(executable_path='. 阅读全文
摘要:
from lxml import etree import sys from PIL import Image sys.path.append("public") from chaojiying import codeResult # selenium主要是为了解决requests无法执行JavaS 阅读全文
摘要:
python中selenium的基本使用 阅读全文