吉阿吉

2021年5月2日

分布式爬虫处理redis数据

摘要： 分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl 阅读全文

posted @ 2021-05-02 23:53 吉阿吉 阅读(86) 评论(0) 推荐(0) 编辑

豆瓣电影爬虫

摘要： 一、分析 阅读全文

posted @ 2021-05-02 23:18 吉阿吉 阅读(34) 评论(0) 推荐(0) 编辑

redis命令

摘要： redis-cli quit set setnx setex mset get incr append 阅读全文

posted @ 2021-05-02 15:34 吉阿吉 阅读(18) 评论(0) 推荐(0) 编辑

导航