摘要: 以起点小说网举例子 网址 https://www.qidian.com/rank/yuepiao/ 默认大家已经生成好scrapy项目了,如果不会请参考我之前的文章scrapy框架之创建项目运行爬虫 爬取网页 获取元素位置 通过XPath Helper插件检查是否爬取成功 编写爬虫文件 1.先在控制 阅读全文
posted @ 2022-09-22 20:38 尤所不同 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 创建scrapy scrapy startproject 项目名称 创建蜘蛛(爬虫文件) scrapy genspider 蜘蛛名称 网址 爬取网页(举百度的列子) 编写爬虫文件 import scrapy class BaiduSpider(scrapy.Spider): name = 'baid 阅读全文
posted @ 2022-09-22 19:47 尤所不同 阅读(21) 评论(1) 推荐(0) 编辑