摘要:
编写Scrapy-Redis分布式爬虫: 要将一个scrapy项目编程一个scrapy-redis项目只需修改以下三点就可以了: 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider ;或者是从scrapy.CrawlSpider变成scrapy 阅读全文
摘要:
1、创建项目 scrapy startproject myproject #myproject 为项目名 2、列出所有模板 scrapy genspider -l 3、创建爬虫 scrapy genspider -t crawl zhihu zhihu.com # zhihu 为爬虫名 zhihu. 阅读全文
摘要:
1、安装virtualenv pip install virtualenv 2、安装virtualenv的扩展管理包 pip install virtualenvwrapper-win 3、创建虚拟目录(用来存放虚拟环境的) 在你的环境变量中编辑添加 WORKON_HOME然后在将你要存放的位置放进 阅读全文
摘要:
$ sudo docker Commands: attach Attach to a running container --将终端依附到容器上 1、 运行一个交互型容器 [root@localhost ~]# docker run -i -t centos /bin/bash[root@f0a02 阅读全文
摘要:
一、目录操作 1.1.切换目录(cd) 1 cd / //切换到根目录 2 cd /bin //切换到根目录下的bin目录 3 cd ../ //切换到上一级目录 或者使用命令:cd .. 4 cd ~ //切换到home目录 5 cd - //切换到上次访问的目录 6 cd xx(文件夹名) // 阅读全文