摘要: PS 参考博文 :https://www.cnblogs.com/remixnameless/p/13171358.html import threading import requests from lxml import etree import os from urllib import re 阅读全文
posted @ 2021-05-23 11:39 SRE运维充电站 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 一、Scrapy初识 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。 - Scrapy内容 - 基于框架发起请求 - 数据解析 - 持久化存储 阅读全文
posted @ 2021-05-23 11:35 SRE运维充电站 阅读(332) 评论(0) 推荐(0) 编辑
摘要: 一、谷歌无头浏览器 from selenium import webdriver from selenium.webdriver.chrome.options import Options # 创建一个参数对象,用来控制chrome以无界面模式打开 chrome_options = Options( 阅读全文
posted @ 2021-05-23 10:45 SRE运维充电站 阅读(1139) 评论(0) 推荐(0) 编辑
摘要: 一、需求分析 需求 :使用Selenium模拟登录QQ空间 分析 : 1、首先访问到 QQ空间登录页面时默认的登录方式为扫码登录,所以需要首先切换成账号密码登录,而且发现按钮是存在 iframe中的; - 2、定位账号、密码输入账号密码信息,然后定位登录按钮进行点击操作; 二、Selenium的模拟 阅读全文
posted @ 2021-05-23 10:23 SRE运维充电站 阅读(231) 评论(0) 推荐(0) 编辑