分布式爬虫处理redis数据

分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。

 

from redis import Redis
from pymongo import MongoClient
import json

def redis_to_mongodb():
    redis_cli=Redis("localhost",6379)
    mongo_cli=MongoClient("localhost",27017)
    col=mongo_cli['databa']['items']
    while True:
        #blpop先进先出，
        source,item=redis_cli.blpop('key:items')
        data=json.loads(item)
        col.insert(data)