摘要: 任务要求: 1.爬虫200万条数据 2.采用临时文件方式存储临爬虫过程积累的大量但又无用的临时数据 3.采用mongo库进行数据存储,并设置用户权限 任务方案: 阅读全文
posted @ 2019-03-27 08:49 fjc0000 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 由于mongo对可以数据进行分布式存储,mongo数据库有较大的优势。 下面介绍一下其安装方法: 1.从官网https://www.mongodb.com/download-center#community下载软件,格式可以是msi,直接解压进行安装 2.安装过程可以选择dbpath,logpath 阅读全文
posted @ 2019-03-27 08:48 fjc0000 阅读(301) 评论(0) 推荐(0) 编辑