摘要：
用了一周的时间总算搞定了，跨过了各种坑，总算调试成功了，记录如下： 1、首先在cmd中用命令行建立douban爬虫项目 scrapy startproject douban 2、我用的是pycharm，导入项目后， 1）在items.py中定义爬取的字段 items.py代码如下： 1 2 3 4 阅读全文
摘要：
用了一周的时间总算搞定了，跨过了各种坑，总算调试成功了，记录如下： 1、首先在cmd中用命令行建立douban爬虫项目 scrapy startproject douban 2、我用的是pycharm，导入项目后， 1）在items.py中定义爬取的字段 items.py代码如下： 2）在spide 阅读全文
摘要：
根据系统不同： Windows是python目录下Lib\site-packages\； Linux是/usr/local/lib/python/dist-packages/。 阅读全文
摘要：
'''要启用spider中间件，您可以将其加入到 SPIDER_MIDDLEWARES 设置中。 该设置是一个字典，键位中间件的路径，值为中间件的顺序(order)。如上是禁用''' DOWNLOADER_MIDDLEWARES 设置会与Scrapy定义的 DOWNLOADER_MIDDLEWARE 阅读全文