07 2018 档案
摘要：1、nginx进程数，建议按照cpu数目来指定，一般跟cpu核数相同或为它的倍数。worker_processes 8;2、为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然可以写多个，或者将一个进程分配到多个cpu。worker_cpu_affinity 00000001 0000001
阅读全文
摘要：# For more information on configuration, see:# * Official English Documentation: http://nginx.org/en/docs/# * Official Russian Documentation: http://n
阅读全文
摘要：yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel安装可能用到的依赖wget https://www.python.org/ftp/python/3.6.5/Pytho
阅读全文
摘要：编辑qunaer.py： 编辑items.py： 新建MongoPipeline.py： 修改settings.py配置文件： scrapy crawl qunaer 运行爬虫
阅读全文
摘要：d: 进入D盘 scrapy startproject GitHub 创建项目 scrapy genspider github github.com 创建爬虫 编辑github.py: 新建debug.py调试脚本： 修改settings.py配置文件： 第23行修改为：
阅读全文
摘要：d:进入D盘scrapy startproject douban创建豆瓣项目cd douban进入项目scrapy genspider douban_spider movie.douban.com创建爬虫 编辑items.py： 编辑douban_spider.py： 新建MySQLPipline.
阅读全文
摘要：D:进入D盘 scrapy startproject cnblogs创建博客园项目 cd cnblogs进入项目根目录 scrapy genspider blog cnblogs.com创建爬虫文件 blog.py： scrapy crawl blog运行爬虫 首页展示的20条博客的标题和作者： 爬
阅读全文
摘要：d:进入D盘 scrapy startproject tutorial建立一个新的Scrapy项目 cd tutorial 进入项目路径 scrapy genspider quotes toscrape.com 建立一个新的爬虫 工程的目录结构： tutorial/ scrapy.cfg # 部署配
阅读全文
摘要：Windows怎样安装Scrapy？ pip install scrapy会报错 访问https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载并放到D盘 pip install D:\Twisted-18.4.0-cp36-cp36m-win_am
阅读全文
