摘要：索引 mongodb mysql redis的区别和使用场景 爬虫数据去重 实现增量式爬虫 使用数据库建立关键字段（一个或多个）建立索引进行去重 根据url地址进行去重 使用场景 url地址对应的数据不会变的情况下，url地址能够唯一判别一个条数据的情况 思路 url存在redis中 拿到url地址 阅读全文

摘要：简介 MongoDB的特点 易用性 MongoDB是由C++编写的，是一个基于分布式文件存储的开源数据库系统，它不是关系型数据库。在高负载的情况下，添加更多的节点，可以保证服务器的性能 易扩展性 丰富的功能 卓越的性能 MongoDB基础知识 文档是MongoDB的核心概念 文档就是键值对的一个有序 阅读全文