摘要： 1.安装 pip install celery 2.创建celery_tasks文件夹，创建config配置文件和main文件 # 在config.py文件中配置中间人broker地址信息 - redis数据库信息 broker_url = "redis数据库地址信息" # 例如 broker_ur 阅读全文

摘要： 过期策略： 我们在set key时，可以给一个expire time，就是过期时间 这段过期时间以后，redis对key删除使用：定期删除+惰性删除 定期删除指redis默认在100ms内随机抽取一些设置了过期时间的key，检查是否过期，过期就删除。 定期删除因为随机的，很多key没有删除，就用到惰 阅读全文

摘要： 爬虫数据去重： 使用MD5生成指纹判断页面是否变化 数据存入mongodb，对关键字进行复合索引（千万以下） 对数据关键字进行哈希映射，生成指纹判断是否在redis的指纹集合中，并可通过是否过滤判断request对象是否进队，对request对象进行过滤（千万级别） 布隆过滤器，实现大数据去重（亿级 阅读全文