2019年2月1日
摘要：
Spiders Spider类定义了如何爬取某个网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。简而言之，Spider就是你定义爬取的动作及分析某个网页(或者是有些网页)的地方。 对spider来说，爬取的循环类似如下: 以初始的URL(start_ 阅读全文
摘要：
上一篇中，我们简单的实现了toscrapy网页信息的爬取，并存储到mongo，本篇文章信息看看数据的存储。这一篇主要是实现信息的存储，我们以将信息保存到文件和mongo数据库为例，学习数据的存储，依然是上一节的例子。 编写爬虫 修改items.py文件来定义我们的item Item 是保存爬取到的数 阅读全文
摘要：
安装Scrapy 了解了Scrapy的框架和部分命令行之后，创建项目，开始使用之前，当然是安装Scrapy框架了。 关于Scrapy框架的安装，请参考：https://cuiqingcai.com/5421.html 创建项目 创建项目是爬取内容的第一步，之前已经讲过，Scrapy通过scrapy 阅读全文
摘要：
简介 Scrapy是通过Scrapy命令行工具进行控制的，包括创建新的项目，爬虫的启动，相关的设置，Scrapy提供了两种内置的命令，分别是全局命令和项目命令，顾名思义，全局命令就是在任意位置都可以执行的命令，而项目命令只有在你新创建了项目之后，在项目目录中才可以执行的命令。在这里，简单的介绍一些常 阅读全文
摘要：
爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool（host:XX）Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXXX>: 阅读全文
摘要：
概览 在具体的学习scrapy之前，我们先对scrapy的架构做一个简单的了解，之后所有的内容都是基于此架构实现的，在初学阶段只需要简单的了解即可，之后的学习中，你会对此架构有更深的理解。下面是scrapy官网给出的最新的架构图示。 基本组件 引擎（Engine） 引擎负责控制数据流在系统中所有组件 阅读全文
该文被密码保护。 阅读全文
摘要：
有事会遇到在python代码中导入包错误问题，本文简单对python包的引入做简单介绍 简单说,我认为python导包一共有3种情况,分别是: 要导的包与当前文件在同一层要导的包在当前文件的底层(就是与当前文件夹同级的文件夹里)要导的包在当前文件的上层 1、要导的包与当前文件在同一层 use.py表 阅读全文