python之采用分布式爬虫200万条百科信息，并mongo存储实例

任务要求：

1.爬虫200万条数据

2.采用临时文件方式存储临爬虫过程积累的大量但又无用的临时数据

3.采用mongo库进行数据存储，并设置用户权限

任务方案：

posted @ 2019-03-27 08:49  fjc0000  阅读(255)  评论(0)    收藏  举报