SRE运维充电站

2021年5月23日

摘要：一、Scrapy初识 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。 - Scrapy内容 - 基于框架发起请求 - 数据解析 - 持久化存储阅读全文

posted @ 2021-05-23 11:35 SRE运维充电站阅读(338) 评论(0) 推荐(0) 编辑

Selenium-Selenium配置无头浏览器+规避检测

摘要：一、谷歌无头浏览器 from selenium import webdriver from selenium.webdriver.chrome.options import Options # 创建一个参数对象，用来控制chrome以无界面模式打开 chrome_options = Options( 阅读全文

posted @ 2021-05-23 10:45 SRE运维充电站阅读(1176) 评论(0) 推荐(0) 编辑

Selenium-Selenium的模拟登录QQ空间

摘要：一、需求分析需求：使用Selenium模拟登录QQ空间分析 : 1、首先访问到 QQ空间登录页面时默认的登录方式为扫码登录，所以需要首先切换成账号密码登录，而且发现按钮是存在 iframe中的； - 2、定位账号、密码输入账号密码信息，然后定位登录按钮进行点击操作；二、Selenium的模拟阅读全文

posted @ 2021-05-23 10:23 SRE运维充电站阅读(247) 评论(0) 推荐(0) 编辑

2021年5月22日

Selenium-Selenium处理iframe处理及动作链

摘要：一、处理iframe处理及动作链拖拽功能：示例效果地址 https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable 可以查看到，拖拽框是被包含在 iframe标签中的； selenium 处理 iframe ：如果定位的阅读全文

posted @ 2021-05-22 19:53 SRE运维充电站阅读(100) 评论(0) 推荐(0) 编辑

Selenium-Selenium其他自动化操作

摘要：一、需求分析需求：打开淘宝网站，在搜索框中输入商品名称，点击搜索；打开滚轮向下滚动；分析： 1、定位搜索框按钮，可以查看到需要使用 id进行标签定位，然后输入搜索的内容； 2、定位搜索按钮，进行搜索操作，可以查看到需要使用 class 进行标签定位；二、Selenium其他自动化操作示例阅读全文

posted @ 2021-05-22 19:47 SRE运维充电站阅读(94) 评论(0) 推荐(0) 编辑

Selenium-Selenium初测爬取药监总局企业名称数据

摘要：一、Selenium爬取药监总局企业名称数据使用Selenium获取页面动态加载的数据 from selenium import webdriver from lxml import etree # 实例化一个浏览器对象 driver = webdriver.Chrome() # 让浏览器对指定u 阅读全文

posted @ 2021-05-22 19:27 SRE运维充电站阅读(281) 评论(0) 推荐(0) 编辑

Selenium-Selenium环境安装(Mac系统下搭建Selenium环境并驱动Chrome浏览器)

摘要：一、安装selenium 打开终端 →pip安装（安装命令：pip3 install selenium）二、安装浏览器驱动ChromeDriver 2.1、查看Chrome版本打开chrome，在设置->关于Chrome 2.2、查找Chrome和ChromeDriver的对应关系 Chrome 阅读全文

posted @ 2021-05-22 15:33 SRE运维充电站阅读(321) 评论(0) 推荐(0) 编辑

异步爬虫-aiohttp+多任务异步协程实现

摘要：一、aiohttp模块引出 1.1、flask 模拟web server from flask import Flask import time app = Flask(__name__) @app.route('/a') def a(): time.sleep(2) return 'hello w 阅读全文

posted @ 2021-05-22 15:30 SRE运维充电站阅读(281) 评论(0) 推荐(0) 编辑

异步爬虫-多任务异步协程示例

摘要：一、多任务异步协程示例 import asyncio import time async def request(url): print('正在下载', url) # 在异步协程中如果出现了同步模块相关的代码、那么就无法实现异步 await asyncio.sleep(2) # 当asyncio中遇阅读全文

posted @ 2021-05-22 13:53 SRE运维充电站阅读(55) 评论(0) 推荐(0) 编辑

2021年5月20日

OpenResty + lua + redis 限流

该文被密码保护。阅读全文

posted @ 2021-05-20 10:06 SRE运维充电站阅读(0) 评论(0) 推荐(0) 编辑

SRE运维充电站

公告