摘要：
scrapy抓取淘宝女郎 准备工作 首先在淘宝女郎的 "首页" 这里查看，当然想要爬取更多的话，当然这里要查看翻页的url,不过这操蛋的地方就是这里的翻页是使用javascript加载的，这个就有点尴尬了，找了好久没有找到，这里如果有朋友知道怎样翻页的话，麻烦告诉我一声，谢谢了...，不过就这样坐以 阅读全文
摘要：
Scrapy爬虫大战京东商城 引言 上一篇已经讲过怎样获取链接，怎样获得参数了，详情请看 "python爬取京东商城普通篇" 代码详解 首先应该构造请求，这里使用 "scrapy.Request" ,这个方法默认调用的是 构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个 阅读全文
摘要：
scrapy配置 增加并发 并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。 Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。 增加多少取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得 阅读全文
摘要：
scrapy中的下载器中间件 下载中间件 下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。 编写下载器中间件 1. 当每个 通过下载中间件时，该方法被调用。 必须返回其中之一: 返回 阅读全文
摘要：
scrapy设置"请求池" 引言 相信大家有时候爬虫发出请求的时候会被ban，返回的是403错误，这个就是请求头的问题，其实在python发出请求时，使用的是默认的自己的请求头，网站管理者肯定会不允许机器访问的，但是有些比较low的网站还是可以访问的，有时候网站管理者看到同一个请求头在一秒内请求多次 阅读全文
摘要：
Scrapy中使用cookie免于验证登录和模拟登录 引言 爬虫我认为最困难的问题一个是ip代理，另外一个就是模拟登录了，更操蛋的就是模拟登录了之后还有验证码，真的是不让人省心，不过既然有了反爬虫，那么就有反反爬虫的策略，这里就先介绍一个cookie模拟登陆，后续还有 模拟浏览器登录的文章。还不知道 阅读全文
摘要：
scrapy代理的设置 在我的上一篇文章介绍了 "scrapy下载器中间件的使用" ,这里的scrapy 的代理就是用这个原理实现的，重写了下载器中间件的 这个函数,这个函数的主要作用就是对request进行处理。 话不多说直接撸代码 import random import scrapy impo 阅读全文
摘要：
scrapy架构初探 引言 Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开源的全部，开源的核心是“开放的思想”，聚合最好的想法、技术、人员，所以将会参照众多领先产品，比如，Scrapy，ScrapingHub， "import io" 等。 本文简单讲解一下S 阅读全文
摘要：
scrapy初试 创建项目 打开 ，在终端输入 ,这里将在指定的文件夹下创建一个 工程 其中将会创建以下的文件： : 项目的配置文件 : 该项目的python模块。之后您将在此加入代码。 : 项目中的item文件. : 项目中的pipelines文件. : 项目的设置文件. : 放置spider代码 阅读全文
摘要：
System对IO的支持 是系统的类，其中的方法都是在控制台的输入和输出，但是通过重定向也是可以对文件的输入输出 中定义了标准输入、标准输出和错误输出流，定义如下: 1. “标准”错误输出流。 2. “标准”输入流。 3. “标准”输出流。 从上面的定义可以知道这里的返回值都是字节的输入和输出流，因 阅读全文