摘要：
scrapy框架 图片下载 [TOC] python小知识： map函数：将一个可迭代对象的每个值，依次交给一个函数处理，返回一个生成器。 urls本身是一个列表，使用map函数，将urls中的每一项传递给url ，并让url执行‘https:’+url的操作。 lambda则是一个无名函数，方便一 阅读全文
摘要：
scrapy框架 post请求和shell [TOC] 1. post请求 scrapy框架在开始时，会直接调用start_requests(self) 函数，所以需要重写start_requests方法，并且不调用start_urls里面的url，之后再使用回调函数进入真正的数据解析函数 2. s 阅读全文
摘要：
scrapy框架 文件写入 [TOC] 1. lowb写法 当整个项目开始时，会执行\__init__ 和open_spider函数，所以先将文件打开，方便写入。项目结束时运行close_spider函数，在这个地方关闭文件。 每次spider将数据抛出，由process_spider函数进行处理 阅读全文
摘要：
scrapy框架 两种爬虫对比和大概流程 注：spider.py指使用命令行创建的爬虫主文件 [TOC] 1. 传统spider爬虫 创建scrapy项目，首先进入想创建项目的目录，然后cmd输入： spidername就是爬虫文件名 xxxx.com 用于限定爬虫爬取的范围爬虫名，其与项目名不能相 阅读全文