摘要：
使用数据库建立关键字段（一个或者多个）建立索引进行去重 根据url地址进行去重 使用场景：url地址对应的数据不会变的情况，url地址能够唯一判别一条数据的情况 思路： url存在Redis中 拿到url地址，判断url在Redis的集合中是否存在 存在：说明url地址已经被请求过了，不在请求 不存 阅读全文
摘要：
mysql是关系型数据库，支持事物 MongoDB、Redis是非关系型数据库，不支持事物 mongodb、mysql、redis的使用根据如何方便进行选择 希望速度快的时候，选择MongoDB或者是Redis 数据量过大的时候，选择频繁使用的数据存入Redis，其他的存入MongoDB Mongo 阅读全文
摘要：
模块导入 实例化client，建立连接 插入一条数据 插入一条数据，修改默认的_id数值。 插入一条数据，使用ret接收，打印出来是_id的值 插入多条数据insert_many()， 查询一条记录find_one() 查询多条记录find()，输出的是游标。 更新一条数据update_one() 阅读全文