摘要：Ⅰ Scrapy框架之全站爬取 【一】全站爬取 【1】介绍 CrawlSpider：全站数据爬虫的方式，它是一个类，属于Spider的子类 如果不使用CrawlSpider，那么就相当于基于spider，手动发送请求，太不方便 基于CrawlSpider可以很方便地进行全站数据爬取 【2】Crawl 阅读全文

摘要：Ⅰ 案例登陆京东(滑块验证) 【一】下载opencv库 pip install opencv-python 【二】数据准备 先将京东的滑块图片下载到本地 背景图background.png 滑块图tag.png 【三】展示获取滑块的移动数据 import os.path # 使用 opencv 识别 阅读全文

摘要：Ⅰ Selenium框架之浏览器操作 【一】页面操作 【1】初始化浏览器对象 前期我们将Chrome驱动添加到环境变量了，所以我们可以直接初始化界面。（或者也可以通过指定绝对路径的方式） # 【1】方案一：将你的驱动放到你的 Python 环境变量下 Scripts 文件夹下 # 我们不指定驱动的位 阅读全文

摘要：Ⅰ 爬虫之xpath模块 【一】xpath引言 【1】介绍 xpath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但xpath明显比re具有优势，在网页分析上使re退居二线。 xpath 全称为XML Path Language 一 阅读全文

摘要：Ⅰ BeautifulSoup模块之初识 【一】介绍 【1】简言 简单来说，Beautiful Soup是python的一个库 最主要的功能是从网页抓取数据。 【2】官方解释 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通过 阅读全文

摘要：Ⅰ 爬虫初识 【一】Python爬虫简介 Python爬虫是一种自动化获取互联网数据的技术，它通过编写程序实现自动访问网站并抓取所需的数据。 【二】爬虫的定义 爬虫是一种自动化获取互联网数据的技术，通过模拟浏览器行为，向目标网站发送请求并获取响应，然后解析响应中的数据。 应用领域：爬虫可以应用于各种 阅读全文