随笔分类 -  scrapy

摘要：CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板 的代码： 我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以用这个... class scrapy.spiders.CrawlSpider 它是Spider的派生类，Spider类的设计原则是 阅读全文

摘要：Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文

摘要：写博客就和笔记一样真的很有用，你可以随时的翻阅。爬虫的爬虫原理与数据抓取、非结构化与结构化数据提取、动态HTML处理和简单的图像识别已经学完，就差整理博客了 开始学习scrapy了，所以重新建了个分类。 scrapy的下载到安装，再到能够成功运行就耗费了我三个小时的时间，为了防止以后忘记，记录一下。 阅读全文