python爬虫学习之MongoDB与Redis的运用

MongoDB与Redis的安装:

MongoDB:

1.安装MongoDB后，需要安装ROBO客户端。

Redis：

1.官网下载速度极慢，使用迅雷下载即可

2.无需安装客户端，直接进行交互式操作，不管是交互式操作（redis-cli）还是用python连接，均需要先打开redis服务。

MongoDB与Redis的区别及在爬虫中的扮演的角色

MongoDB：主要就是存储数据（永久性需要存储的数据）

Redis：内存数据库（读写快）-------1.作为中间表使用  2.判断重复（避免爬取同样的内容，浪费时间）