摘要: 五大核心组件 scrapy工作原理 旧版 新版 如何提升scrapy爬取数据的效率 全站抓取数据 示例代码 get请求抓取所有页码数据 深度抓取 阅读全文
posted @ 2019-08-10 13:55 叫我大表哥 阅读(825) 评论(0) 推荐(0) 编辑
摘要: 一、安装scrapy 安装失败看博客>>>scrapy安装失败解决方案 二、创建爬虫项目 项目目录结构 cmd命令行输入 D:\爬虫项目\first>tree /f 三、创建爬虫 定义item字段 在解析数据之前我们要在items文件中定义我们要解析的字段,因为我们解析完的数据需要提交到管道,而管道 阅读全文
posted @ 2019-08-10 13:53 叫我大表哥 阅读(349) 评论(0) 推荐(0) 编辑