摘要:
pipeline.py settings.py 算是第一个运行成功的scrapy吧,特别开心 阅读全文
摘要:
用的是filespipeline,用的存储地址是images的地址 测试煎蛋ooxx首页,shell测试的时候返回很多列表,但是实际爬的时候一直只返回一条,很烦,一直测一直测,就是不行,后来才发现,首页已经刷新了就是只有一条。。。。 def file_path 写不好的话,会被def item_co 阅读全文
摘要:
refer:https://blog.yongli1992.com/2015/02/08/python-scrapy-module/ 这里是一张Scrapy架构图的展示。Scrapy Engine负责整个程序的运行。Scheduler负责调度要访问的网址。Downloader负责从网络获取响应。Sp 阅读全文
摘要:
为什么要改写方法:get_media_requests,他们的区别在哪里 refer: https://www.imooc.com/article/21840 这篇文章介绍了多种实例 如果文件名生成规则更加复杂,可以参考znns项目中的pipeline编写。他这里要根据路径生成多级文件夹保存图片,所 阅读全文