摘要: 编写Scrapy-Redis分布式爬虫: 要将一个scrapy项目编程一个scrapy-redis项目只需修改以下三点就可以了: 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider ;或者是从scrapy.CrawlSpider变成scrapy 阅读全文
posted @ 2020-12-29 14:18 流年— 阅读(75) 评论(0) 推荐(0) 编辑
摘要: 1、创建项目 scrapy startproject myproject #myproject 为项目名 2、列出所有模板 scrapy genspider -l 3、创建爬虫 scrapy genspider -t crawl zhihu zhihu.com # zhihu 为爬虫名 zhihu. 阅读全文
posted @ 2020-12-28 17:12 流年— 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 1、安装virtualenv pip install virtualenv 2、安装virtualenv的扩展管理包 pip install virtualenvwrapper-win 3、创建虚拟目录(用来存放虚拟环境的) 在你的环境变量中编辑添加 WORKON_HOME然后在将你要存放的位置放进 阅读全文
posted @ 2020-12-28 14:50 流年— 阅读(184) 评论(0) 推荐(0) 编辑
摘要: $ sudo docker Commands: attach Attach to a running container --将终端依附到容器上 1、 运行一个交互型容器 [root@localhost ~]# docker run -i -t centos /bin/bash[root@f0a02 阅读全文
posted @ 2020-08-31 09:00 流年— 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 一、目录操作 1.1.切换目录(cd) 1 cd / //切换到根目录 2 cd /bin //切换到根目录下的bin目录 3 cd ../ //切换到上一级目录 或者使用命令:cd .. 4 cd ~ //切换到home目录 5 cd - //切换到上次访问的目录 6 cd xx(文件夹名) // 阅读全文
posted @ 2020-07-31 11:03 流年— 阅读(175) 评论(0) 推荐(0) 编辑