摘要: 一 代码 二 参数详解 custom_settings 1 settings 文件中默认请求头 DEFAULT_REQUEST_HEADERS 2 spider文件中请求头参数 custom_settings 必须以类变量形式存在 优先级别高与全局 必须以类变量形式存在 优先级别高与全局 访问知乎不 阅读全文
posted @ 2019-04-25 23:35 柳帅 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 一 配置文件scrapy.cfg 1 全局配置文件路径 盘符: ... \scrapy\scrapy 2 项目配置文件 配置文件的优先级别: 用户定义的配置文件优先级别高于系统范围的默认值. 二 创建醒目的基本命令 三 命令分类 全局命令 startproject #创建项目 genspider # 阅读全文
posted @ 2019-04-25 23:34 柳帅 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 一 安装 二 实验要求 目标网站: http://quotes.toscrape.com/tag/humor/ 任务:保存网页信息到本地 二 创建爬虫项目 生成项目的结构 三 创建爬虫文件 使用pycharm打开项目,修改QuotesSpider .py 文件改为 其中 name: 爬虫名字,项目中 阅读全文
posted @ 2019-04-25 23:33 柳帅 阅读(470) 评论(0) 推荐(0) 编辑
//替换成自己路径的js文件