文章分类 - 爬虫
摘要：title: Python爬虫-scrapy中使用CrawlSpider进行全站数据爬取 date: 2021-05-01 13:41:32 categories: [编程, Python, 爬虫] tags: scrapy {% note info %} 目标：爬取豆瓣图书科普分类下的若干页图的书
阅读全文
摘要：从中可以看出Engine类似于总指挥。 Spiders向Engine提交Requests。 Engine将Requests交给Scheduler进行过滤重复请求等操作。 Scheduler返回新的Requests给Engine。 Engine将Requests交给Downloader Downloa
阅读全文
摘要：目标：从当当网的图书排行榜中，爬取全部25页的图书名。 技巧： 通过翻页查看网页URL变化，推断页数和URL的关系。 通过所要爬取内容周围HTML文本的特点，写正则表达式提取特定内容。 使用正则表达式需要引入re模块 import requests import re """ <div class=
阅读全文
摘要：正则表达式简介 正则表达式：用于描述特定字符串模式的表达式。元字符为M1, M2, ...，数量修饰符为N1, N2, ... 常见正则表达式形式则为M1N1M2N2... | 元字符 | 含义 | | : : | : : | | . | 处\n外任意字符 | | [0-9] | 数字 | | [A
阅读全文
摘要：准备 xpath语法：https://www.w3school.com.cn/xpath/xpath_syntax.asp 预安装：lxml模块 目标：爬取豆瓣里某本书的若干页评论信息，并将评论信息存储为json文件。 JSON格式： { "userID":"rivocky", "itemID":"
阅读全文
摘要：准备 在Pycharm中安装lxml和bs4模块。 lxml：是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据 bs4：Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文
阅读全文
摘要：requests模块参考网站：https://docs.python-requests.org/zh_CN/latest/user/quickstart.html 在Pycharm中安装requests模块 File --> Settings --> Projects:[name] --> Pyth
阅读全文
摘要：目标：爬取豆瓣小说标签页面共计三页图书的信息。 流程： 在setting.py中根据需要设置LOG_LEVEL，ROBOTSTXT_OBEY，ITEM_PIPELINES，DOWNLOADER_MIDDLEWARES等项。 在middlewares.py中定义request.headers，用于UA
阅读全文
摘要：基于终端指令的持久化存储 存储数据放到爬虫文件的parse方法的返回值中。 存储只能为json, csv, xml等文本类型。 scrapy crawl spider_name -o output_path。执行spider_name，将输出放到output_path中。 import scrapy
阅读全文
摘要：Mac or Linux: pip install scrapy Windows: pip install wheel 下载twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 切换到twisted下载的目录后：pip install
阅读全文
摘要：创建工程：scrapy startproject project_name 切换到工程目录后创建爬虫文件：scrapy genspider spider_name www.xxx.com 执行工程：scrapy crawl spiderName。若要省去输出的繁杂日志，可在settings.py文件
阅读全文
摘要：UA伪装和Cookie设置 在DownloaderMiddleware的process_request中设置request.headers['User-Agent']和request.cookies 在setting.py中设置 代理IP设置 在DownloaderMiddleware的proces
阅读全文
