【python爬虫】scrapy入门2--自定义item
items.py
1 2 3 4 5 6 | class LianhezaobaospyderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # pass body = scrapy.Field() link = scrapy.Field() |
爬虫.py
from .. import items def parse_news(self,response): item=items.LianhezaobaospyderItem() item['body']=response.xpath("//div[@class='xx']/text()").get() item['link']=response.url yield item
item和字典类似,数据量大时,字典可能键值对错误
-------------------------------
********厚德达理,励志勤工********
-------------------------------
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步