随笔分类 - scrapy
scrapy学习记录
摘要：在做scrapy爬虫的时候经常会遇到需要跟进url的情况，网站a有许多url，但是我们需要跟进这些url，进一步获取这些url中的详细内容。 简单的说就是要先解析出所有需要的url，然后跟进这些url 那么现在来说说怎么做 scrapy中有个Request专门处理跟进的url 在处理函数parse中
阅读全文
摘要：之前写了个scrapy的学习记录，只是简单的介绍了下scrapy的一些内容，并没有实际的例子，现在开始记录例子 使用的环境是python2.7， scrapy1.2.0 首先创建项目 在要建立项目的目录下执行命令scrapy startproject tutorial scrapy会帮你建立好项目，
阅读全文
摘要：其实很简单，按下右上角的这个按钮 点击 跳出一个弹框 选择好 这三个基本就可以了 script是要运行的脚本即python中的Lib中的site-packages里面scrapy里面的cmdline.py Script parameters：是运行的参数如果是scrapy就是crawl+爬虫名(cr
阅读全文
摘要：scrapy是一个用来爬取一个或多个网站的数据，提取数据的应用框架。下载过程非常复杂，而且会遇到各种问题。所以写个博客来记录下。 安装好python2.7之后，就可以开始。 pip install scrapy安装的时候可能会报错Twisted库安装失败，需要去找对应的平台的whl文件。地址是htt
阅读全文
