编写爬虫管道------(二)
进入项目,找到items.py文件,明确爬虫目标:
1 import scrapy 2 3 4 class SinaItem(scrapy.Item): 5 # 大类的标题 和 url 6 parent_title = scrapy.Field() 7 parent_urls = scrapy.Field() 8 9 # 小类的标题 和 子url 10 sub_title = scrapy.Field() 11 sub_urls = scrapy.Field() 12 13 # 小类目录存储路径 14 sub_filename = scrapy.Field() 15 16 # 小类下的子链接 17 son_urls = scrapy.Field() 18 19 # 文章标题和内容 20 head = scrapy.Field() 21 content = scrapy.Field()
清澈的爱,只为中国