摘要： 驱动 首先，要保证机子上装了谷歌浏览器 然后，下载浏览器驱动 chromedriver.exe 最新版本：https://googlechromelabs.github.io/chrome-for-testing/ 老版本：https://chromedriver.storage.googleapi 阅读全文

摘要： ‌ChromeOptions‌ 是 Selenium 库中的一个类，用于配置 Chrome 浏览器的启动参数和功能。 通过 ChromeOptions，用户可以自定义浏览器的行为，以满足不同的测试或爬虫需求。 主要功能： ‌ 页面加载策略‌：可以设置页面加载策略，例如使用eager模式加快页面加载速 阅读全文

摘要： xpath 常用规则 |表达式 |功能 | | | | |nodename |选取此节点的所有子节点 | |/ |从根节点选取（取子节点） | |// |从匹配的节点中选择子节点（不需要考虑位置） | |. |选取当前节点 | |.. |选取当前节点的父节点 | |@ |选取属性 | |* |匹配任 阅读全文

摘要： CSS SELECTOR 功能：分析静态 html 代码，定位到具体的界面元素。 名字中有 CSS，所以与前端的 CSS 样式（Cascading Style Sheets）真的有关， 在样式中，通过选择器定位元素，进行界面渲染；而爬虫通过选择器定位元素，进行界面抓取， 二者有着类似的 API，前端 阅读全文

摘要： 安装依赖库 pip install selenium helloworld 效果：弹出浏览器，输入 python，之后自动点击 “百度一下”，5秒之后关闭浏览器。 import time from selenium import webdriver from selenium.webdriver.c 阅读全文

摘要： 使用场景：后台启用会话，登录之后，只要保持会话，就可以持续访问接口。 需要注意会话保持，登录之后不要断线； 为了防止 CSRF 攻击，登录参数除了账号密码，有时候还会有个 token，这个要通过爬虫抓取； import requests # 目标网站的登录URL login_url = 'http: 阅读全文

摘要： 抓取静态界面 import requests headers={ "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 S 阅读全文

摘要： 这里只是给出一个思路，或许对于未来解决问题有一些参考意义。 仿 JAP 的写法 这种写法很像 java 环境中的 JPA，如果引入模版引擎，则可以大幅增强实用性。 但是，在 python 环境中，这不符合主流的 ORM 框架。 潜在风险：代码检测的时候，可能会被误判，因为我们定义了一大堆空的函数。 阅读全文

摘要： 这是一个 ORM 框架（已经包含连接池） 安装插件 pip install pymysql sqlalchemy 参数配置 from sqlalchemy import create_engine, text # 定义数据库连接字符串 DATABASE_URI = 'mysql+pymysql:// 阅读全文

摘要： python 与 mysql 交互，能找到两个库 pymysql 和 mysql-connector-python 因为两个都是基于 DB-API 2.0 标准‌，使用上差别并不大，区别就是 mysql-connector-python 是由 Oracle 官方提供，性能可能会好一些。 安装依赖 p 阅读全文