selenium 如何定位动态元素、隐藏元素
摘要：方法1：用try…except…def is_element_exsist1(driver, locator): """ :param driver: webdriver :param locator: tuple :return: bool """ try: driver.find_element
阅读全文
posted @ 2021-11-22 10:27
11 2021 档案
python 爬虫学习笔记1
摘要：requests模块 - urllib模块 - requests模块 requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用：（requests模块的编码流程） - 指定url - UA伪装 - 请求参数的处理 - 发
阅读全文
posted @ 2021-11-19 09:35
python 爬虫学习笔记2
摘要：聚焦爬虫:爬取页面中指定的页面内容。 - 编码流程： - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类： - 正则 - bs4 - xpath（***） 数据解析原理概述： - 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储 - 1.进行指定
阅读全文
posted @ 2021-11-19 09:32
python 爬取腾讯漫画（免费）
摘要：python 爬取腾讯漫画（免费）亲测有效 1 import requests 2 from lxml import html 3 from selenium import webdriver 4 from time import sleep 5 from bs4 import BeautifulS
阅读全文
posted @ 2021-11-19 09:25
python爬取美女源码
摘要：可以直接使用 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 #需求：解析下载图片数据 http://pic.netbian.com/4kmeinv/ 4 import requests 5 from lxml import etree 6 im
阅读全文
posted @ 2021-11-18 16:23
【爬虫系列】bs4+requests 爬取三国演绎文本
摘要：1 import requests 2 from bs4 import BeautifulSoup 3 #需求：爬取三国演义小说所有的章节标题和章节内容http://www.shicimingju.com/book/sanguoyanyi.html 4 5 if __name__ == '__mai
阅读全文
posted @ 2021-11-18 14:46
