摘要: '''scrapy简介​ Scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取 web站点并从页面中提取结构化的数据,只需要实现少量的代码,就能够快速的抓取。Scrapy使用了Twisted异步网络框架,可以加快我们的下载速度twisted下载:https:// 阅读全文
posted @ 2022-08-17 15:20 冬天不下雨 阅读(135) 评论(0) 推荐(0) 编辑
摘要: '''## **认识selenium**​ **下载:pip install selenium**​ 官方文档:https://selenium-python.readthedocs.io/### 什么是selenium?​ selenium 是一套完整的web应用程序测试系统,包含了测试的录制(s 阅读全文
posted @ 2022-08-17 15:19 冬天不下雨 阅读(106) 评论(0) 推荐(0) 编辑
摘要: from parsel import Selector'''parsel 是一个Python的第三方库,相当于css选择器+xpath+re需要安装: pip install parsel'''html = '''<!DOCTYPE html><html lang="en"><head> <meta 阅读全文
posted @ 2022-08-17 15:18 冬天不下雨 阅读(64) 评论(0) 推荐(0) 编辑
摘要: #导入模块import requests# 请求的路径url = 'https://www.baidu.com/?tn=88093251_37_hao_pg'resp = requests.get(url)# 指定字符编码resp.encoding = 'utf-8'print(resp.text) 阅读全文
posted @ 2022-08-17 15:17 冬天不下雨 阅读(108) 评论(0) 推荐(0) 编辑
摘要: '''### xpath解析**安装:pip install lxml****简介**​ XPath 是一门在 HTML/XML 文档中查找信息的语言。XPath 可用来在 HTML/XML 文档中对元素和属性进行遍历。相比于BeautifulSoup,Xpath在提取数据时会更有效率。**lxml 阅读全文
posted @ 2022-08-17 15:17 冬天不下雨 阅读(138) 评论(0) 推荐(0) 编辑