初识scrapy框架（九）------ 项目实战：前程无忧

创建项目：scrapy startproject QC

创建爬虫文件：scrapy genspider qc 51job.com

明确爬虫目标：

 1 import scrapy
 2 
 3 
 4 class QcItem(scrapy.Item):
 5     # 公司
 6     company = scrapy.Field()
 7     # 职位
 8     position = scrapy.Field()
 9     # 地址
10     address = scrapy.Field()
11     # 薪资
12     salary = scrapy.Field()
13     # 发布时间
14     release_time = scrapy.Field()
15     # 职位要求
16     requirement = scrapy.Field()
17     # 联系方式
18     contact_way = scrapy.Field()
19     
20     # 来源
21     source = scrapy.Field()
22     # 时间
23     utc_time = scrapy.Field()

编写爬虫文件：

 

posted @ 2018-05-22 12:40  巴蜀秀才  阅读(180)  评论(0)  编辑  收藏  举报