摘要: Items 程序 import scrapy class DangdangItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() src = scrapy.Field() name 阅读全文
posted @ 2024-07-16 19:17 donghongchao 阅读(3) 评论(0) 推荐(0) 编辑
摘要: IPython 是一个基于 Python 的交互式计算环境,它为用户提供了一个更为强大和丰富的界面来使用Python语言。相较于标准的Python解释器,IPython提供了更多的增强功能,例如提供智能的自动补全,高亮输出,及其他特性。 如果我们安装了IPython,scrapy终端将使用IPyth 阅读全文
posted @ 2024-07-16 12:51 donghongchao 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 1、Scrapy Engine(引擎组件): 负责Spider、ItemPipeline、Downloader、Scheduler的工作调度、信息通讯、数据传递等工作 2、Scheduler(调度组件): 负责接收引擎传递过来的请求,按照具体规则添加队列处理,最终返回给引擎 3、Downloader 阅读全文
posted @ 2024-07-16 12:13 donghongchao 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 安装: install scrapy # -i https://pipy.douban.com/simple 不一定好用改其他源码 创建scrapy项目的命令: scrapy startproject <项目名字> 创建爬虫命令:在项目路径下执行: `scrapy genspider <爬虫名字> 阅读全文
posted @ 2024-07-16 08:53 donghongchao 阅读(6) 评论(0) 推荐(0) 编辑