摘要：
原理图一 原理图二 Scrapy数据流是由执行的核心引擎(engine)控制，流程是这样的： 1、爬虫引擎获得初始请求开始抓取。 2、爬虫引擎开始请求调度程序，并准备对下一次的请求进行抓取。 3、爬虫调度器返回下一个请求给爬虫引擎。 4、引擎请求发送到下载器，通过下载中间件下载网络数据。 5、一旦下 阅读全文
摘要：
虚拟环境安装scrapy 在虚拟环境中执行命令 说明： 创建Scrapy项目 由于PyCharm工具无法创建scrapy项目，所以需要现在cmd中进行创建 创建EnterpriseSpider项目 按照给出的提示进行操作，其中www.ubaike.cn是红盾网的网址 之后使用PyCharm导入新创建 阅读全文
摘要：
为什么需要虚拟环境 在python开发中，我们可能会遇到一种情况：就是当前的项目依赖的是某一个版本，但是另一个项目依赖的是另一个版本，这样就会造成依赖冲突。在这种情况之下，我们就需要一个工具能够将这两种或几种不同版本的环境隔离开来，需要哪个版本就切换到哪个版本做为默认版本，让每个版本应用都各自拥有一 阅读全文