上一页 1 2 3 4 5 6 7 8 ··· 15 下一页
摘要: from selenium import webdriver from time import sleep #导入动作链对应的类 from selenium.webdriver import ActionChains bro = webdriver.Chrome(executable_path='. 阅读全文
posted @ 2020-07-28 09:24 一只小白呀 阅读(161) 评论(0) 推荐(0) 编辑
摘要: from selenium import webdriver from time import sleep bro = webdriver.Chrome(executable_path='./chromedriver') bro.get('https://www.taobao.com/') #标签定 阅读全文
posted @ 2020-07-28 09:22 一只小白呀 阅读(87) 评论(0) 推荐(0) 编辑
摘要: from selenium import webdriver from lxml import etree from time import sleep #实例化一个浏览器对象(传入浏览器的驱动程序) bro = webdriver.Chrome(executable_path='./chromed 阅读全文
posted @ 2020-07-28 09:18 一只小白呀 阅读(97) 评论(0) 推荐(0) 编辑
摘要: from selenium import webdriver from time import sleep # 后面是你的浏览器驱动位置,记得前面加r'','r'是防止字符转义的 driver = webdriver.Chrome(r'驱动程序路径') # 用get打开百度页面 driver.get 阅读全文
posted @ 2020-07-28 09:16 一只小白呀 阅读(149) 评论(0) 推荐(0) 编辑
摘要: #环境安装:pip install aiohttp #使用该模块中的ClientSession import requests import asyncio import time import aiohttp start = time.time() urls = [ 'http://127.0.0 阅读全文
posted @ 2020-07-28 09:13 一只小白呀 阅读(283) 评论(0) 推荐(0) 编辑
摘要: import requests import asyncio import time start = time.time() urls = [ 'http://127.0.0.1:5000/bobo', 'http://127.0.0.1:5000/jav', 'http://127.0.0.1:5 阅读全文
posted @ 2020-07-28 09:11 一只小白呀 阅读(85) 评论(0) 推荐(0) 编辑
摘要: https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=2075903360,405209795&fm=26&gp=0.jpg 阅读全文
posted @ 2020-07-28 09:08 一只小白呀 阅读(66) 评论(0) 推荐(0) 编辑
摘要: import asyncio def request(url): print('正在请求的url是',url) print('请求成功',url) return url #async修饰的函数,调用之后返回的一个协程对象 c = request('www.baidu.com') # #创建一个事件循 阅读全文
posted @ 2020-07-28 09:06 一只小白呀 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式: - 多线程、多进程(不建议): - 好处:可以为相关阻塞的阻塞单独开启线程或者进程,阻塞操作就可以异步执行。 - 弊端:无法无限制的开启多线程或者多进程。 - 线程池、进程池(适当使用): - 好处:可以降系统对进程 阅读全文
posted @ 2020-07-28 09:04 一只小白呀 阅读(163) 评论(0) 推荐(0) 编辑
摘要: import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求:爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows 阅读全文
posted @ 2020-07-28 09:01 一只小白呀 阅读(173) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 15 下一页