摘要: 一、命令: 1、创建项目: scrapy startproject projectname 2、创建一个爬虫:scrapy genspider spidername 二、创建item:是保存爬取数据的容器,使用方法和字典类似。 1、 三、解析response: 1、css选择器: 与css的用法相同 阅读全文
posted @ 2018-12-01 21:39 monty12 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 一、crawl()方法学习: 1、url:爬去是的url,可以定义单个,可以定义为url列表。 2、callback:回调函数,指定该url使用哪个方法来解析。 3、age:任务的有效时间。 4、priority:爬取任务的优先级,值越大,对应的请求越会优先被调度。 5、retries:定义重试次数 阅读全文
posted @ 2018-12-01 21:03 monty12 阅读(258) 评论(0) 推荐(0) 编辑