06 2019 档案

摘要:使用scrapy的版本:1.6.0 1.新建一个爬虫项目 我创建第一个scrapy爬虫:scrapy startproject firstSpider 执行过后会生成一个文件,文件结构为: 文件介绍: firstSpider/:项目的python模块 firstSpider/items.py: 目标 阅读全文
posted @ 2019-06-20 00:08 xqs42b 阅读(96) 评论(0) 推荐(0) 编辑
摘要:看见别人可以在mac还有windows可以鼠标截图,我们的大ubuntu当然也是可以截图的,推荐ubuntu的一个截图工具:flameshot 1. 安装flameshot sudo apt-get install flameshot 2. 设置快捷键 设置 > 设备 > 键盘 设置一个自定义快捷键 阅读全文
posted @ 2019-06-18 23:30 xqs42b 阅读(437) 评论(0) 推荐(0) 编辑
摘要:1.安装 我的环境是ubuntu18.04,安装就比较简单: 2. scrapy结构 2.1 scrapy Engine(引擎):负责spider, itemPipeline, downloader, scheduler 中间的通讯,信号,数据传递等 2.2 scheduler(调度器): 它负责接 阅读全文
posted @ 2019-06-17 23:49 xqs42b 阅读(91) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示