2018 年 12月 9 日随笔档案 - foremost

2018年12月9日

摘要：日志等级如何让终端显示错误信息在settings.py中配置请求传参创建moviePro工程 scrapy startproject moviePro cd moviePro scrapy genspider movie www.id97.com 电影名称和类型在一页电影的其他详情在另外一阅读全文

posted @ 2018-12-09 21:44 foremost 阅读(2847) 评论(0) 推荐(0) 编辑

Scrapy框架--代理和cookie

摘要：如何发起post请求？简单测试：在爬虫文件中在settings配置然后执行： cookie:豆瓣网个人登录，获取该用户个人主页这个二级页面的页面数据。先创建一个工程doubanPro cd 到创建的目录下创建爬虫文件 1. 在命令行下 cd 进入工程所在文件夹 2.scrapy gens 阅读全文

posted @ 2018-12-09 17:27 foremost 阅读(291) 评论(0) 推荐(0) 编辑

爬虫--Scrapy-持久化存储操作2

摘要： 1、管道的高级操作将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。 qiubai.py pipelines.py 在settings配置打开终端，先进入文件目录先打开redis，mysql服务器再执行如下命令：存本地: 存redis：存mysql 测试成功多个url 阅读全文

posted @ 2018-12-09 11:36 foremost 阅读(352) 评论(0) 推荐(0) 编辑