摘要: 当LOG_LEVEL="DEBUG"等级时,运行爬虫会出现一些信息 阅读全文
posted @ 2020-05-22 15:33 Norni 阅读(256) 评论(0) 推荐(0) 编辑
摘要: 在items.py文件中,scrapy.Item是一个BaseItem,为parse函数中能够yield的对象之一。 ``` class MyspiderItem(scrapy.Item): # scrapy.Item是一个字典 name = scrapy.Field() # scrapy.Fiel 阅读全文
posted @ 2020-05-22 11:05 Norni 阅读(344) 评论(0) 推荐(0) 编辑
摘要: scrapy.Request能构建一个requests,同时指定提取数据的callback函数 ``` next_page_url = '...' while 判断条件,结束递归: yield scrapy.Request(next_page_url,callback=self.parse) ``` 阅读全文
posted @ 2020-05-22 10:44 Norni 阅读(640) 评论(0) 推荐(0) 编辑