2020年12月23日
爬虫5-Scrapy爬虫架构
摘要： 简介 Scrapy是爬取网站，提取结构性数据并存储的应用框架。对爬取过程中的请求、返回、解析、存储、调度等流程提供模块化支持。 items模块——定义需要爬取的数据字段 保存爬取到的数据的容器，python的字典类型。根据网站数据对item进行定义字段。 # items示例 import scrap 阅读全文
posted @ 2020-12-23 21:42 foolangirl 阅读(96) 评论(0) 推荐(0) 编辑