编写爬虫管道------(二)

进入项目,找到items.py文件,明确爬虫目标:

 1 import scrapy
 2 
 3 
 4 class SinaItem(scrapy.Item):
 5     # 大类的标题 和 url
 6     parent_title = scrapy.Field()
 7     parent_urls = scrapy.Field()
 8 
 9     # 小类的标题 和 子url
10     sub_title = scrapy.Field()
11     sub_urls = scrapy.Field()
12 
13     # 小类目录存储路径
14     sub_filename = scrapy.Field()
15 
16     # 小类下的子链接
17     son_urls = scrapy.Field()
18 
19     # 文章标题和内容
20     head = scrapy.Field()
21     content = scrapy.Field()

 

posted @ 2018-06-05 23:49  巴蜀秀才  阅读(269)  评论(0编辑  收藏  举报