摘要： 一、Scrapy的日志等级 - 在使用 scrapy crawl 爬虫文件名 运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 - 设置日志信息指定输出： 在set 阅读全文

摘要： 一、五大核心组件工作流程 组件的介绍： Spiders(爬虫文件)： 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面 Scrapy(引擎)： 用来处理整个系统的数据流处理, 触发事务(框架核心) Sc 阅读全文

摘要： 递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储（这里储存到文件当中） - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应 阅读全文

摘要： 一、 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作 1 # 基于终端指令的持久化储存 2 3 class BossSpider(scrapy.Spider): 4 name = 阅读全文

摘要： 一、什么是Scrapy？？？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。 所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。 对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 阅读全文

摘要： 前言 随着移动市场的火热，各大平台都陆陆续续的推出了自己的移动端APP来拉拢吸引和便捷其广大的用户。那么在移动端的平台当时势必会出现大量有价值的信息和数据，那这些数据我们是否可以去享用一下呢？那么接下来就进入我们的移动端APP数据的爬虫中来吧。 1 什么是Fiddler? Fiddler是位于客户端 阅读全文

摘要： 乱码问题有三种解决方式，下面我们通过一个示例进行理解 示例： 爬取4k美女壁纸中的图片 http://pic.netbian.com/4kmeinv/ import requestsfrom lxml import etreeimport osfrom urllib import request i 阅读全文

摘要： 引入： 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 今日概要： 使用云打码平台识别验证码 云打码官网地址： http://www.yundama.com/ 云打码使用流程： 注册：普通用户和开发者用户（ 阅读全文

摘要： 一、基于request模块的代理操作 什么是代理 代理就是第三方代替本体处理相关事务。例如：生活中的代理：代购，中介，微商...... 爬虫中为什么需要使用代理 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这 阅读全文

摘要： 04 python网络爬虫之requests模块（1） 05.python之爬虫之三种数据解析方式 06爬虫之request模板2 07 验证码处理 08 python之网络爬虫之乱码问题 10 移动端数据爬取 11 scrapy框架简介和基础应用 12 scrapy 框架持续化存储 13 scra 阅读全文