07 2024 档案
摘要:# coding:utf-8 import time import random from time import sleep from csv import writer from selenium import webdriver from selenium.webdriver.common.b
阅读全文
摘要:以某科研基金信息平台为例,写了一个基于selenium的web自动化爬虫。不带验证码防反爬以及代理ip池,是最基础的自动化工具爬虫。 一、首先,此平台需要登录后才能正常访问,否则数据不全,因此需要登录后获取cookie,以便selenium能够以登录状态运行 1.F12打开开发者工具,找到netwo
阅读全文
摘要:在跑一个处理很多数据的代码,需要不间断地运行。而且最近打算回家一周,需要远程控制电脑。但是学校的校园网每到晚上就会自己断开,干脆写份脚本来保持校园网的连接 这份简单的代码只包括三个部分,检测网络状态的部分,自动登录校园网的部分,循环执行的部分、 import os import time impor
阅读全文