06 2019 档案
摘要:使用scrapy的版本:1.6.0 1.新建一个爬虫项目 我创建第一个scrapy爬虫:scrapy startproject firstSpider 执行过后会生成一个文件,文件结构为: 文件介绍: firstSpider/:项目的python模块 firstSpider/items.py: 目标
阅读全文
摘要:看见别人可以在mac还有windows可以鼠标截图,我们的大ubuntu当然也是可以截图的,推荐ubuntu的一个截图工具:flameshot 1. 安装flameshot sudo apt-get install flameshot 2. 设置快捷键 设置 > 设备 > 键盘 设置一个自定义快捷键
阅读全文
摘要:1.安装 我的环境是ubuntu18.04,安装就比较简单: 2. scrapy结构 2.1 scrapy Engine(引擎):负责spider, itemPipeline, downloader, scheduler 中间的通讯,信号,数据传递等 2.2 scheduler(调度器): 它负责接
阅读全文