摘要：
一、安装 安装包地址：https://www.mongodb.com/download center/enterprise 直接双击安装,不过得选择自定义安装,便于找到你自己的目录位置。 我选择的路径是： 配置环境变量： 启动mongodb服务端: 客户端连接. 每次使用mongodb时，都需要启动 阅读全文
摘要：
一、多任务简介 1、为什么要使用多任务爬虫？ 在大量的url需要请求时，单线程/单进程去爬取，速度太慢，此时cpu不工作，浪费cpu资源。 爬取与写入文件分离，可以规避io操作，增加爬取速度，充分利用cpu。 2、多任务分类 进程：进程是操作资源分配的最小单位，一个运行的程序，至少包括一个进程，进程 阅读全文