2020年2月29日
爬虫之scrapy框架（一）
摘要： [TOC] 一、scrapy简介，架构介绍 1.1scrapy简介 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也 阅读全文
posted @ 2020-02-29 22:58 ylpb 阅读(113) 评论(0) 推荐(0) 编辑
爬虫之scrapy框架（二）
摘要： [TOC] 一、使用scrapy整站爬取网站信息 scrapy的真正起始爬取方法 当我们启动spider.py文件时，会执行我们设置好的 ,但是源码真正是如何处理的呢？我们进入scrapy.Spider查看源码，Spider类下有如下代码： 看到这里我们可以知道真正调用request发送请求的是st 阅读全文
posted @ 2020-02-29 17:16 ylpb 阅读(179) 评论(0) 推荐(0) 编辑