摘要：
简单粗暴，不说别的废话，今天我们使用scrapy来爬 https://www.tous.com/us-en/jewelry 这个站的产品信息。 先来了解一下 scrapy这个爬虫框架 看下面的图片 上面可能说的比较专业术语一些，没那么通俗易懂，下面是我总结的，其实很简单只要记住： 1、item定义一 阅读全文
摘要：
自己也写了一个爬虫框架，最近在使用scrapy爬虫框架，发现爬小型的还是可以的，但是爬大型的一些网站，感觉使用起来还是不太行的，就考虑这边用scrapy+redis采用分布式爬虫。废话不多说，我们来安装redis，其实很easy。 第一步：https://github.com/tporadowski 阅读全文