文章分类 - python / 爬虫spider
摘要:一、基本使用 1、文档: 官方文档:http://cn.python-requests.org/zh_CN/latest/ 快速上手:http://cn.python-requests.org/zh_CN/latest/user/quickstart.html 2、安装 pip install re
阅读全文
摘要:一、简介 当爬虫的网站需要登录,尤其是有复杂验证码验证的登录,这种一般需要借助一些第三方解码平台来解析验证码,比较困难。但如果程序不是放在服务器上一直运行,而是只在需要的时候手动跑一下,这样的就可以使用手动登录获取cookie,然后爬取网页的时候带上这个cookie,从而绕过登录这一步骤。 二、不需
阅读全文
摘要:import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.edge.options import Options from seleni
阅读全文