2015年9月27日
用Python组合Celery Redis RabbitMQ进行分布式数据抓取
摘要： 首先,记录下遇到的问题吧,在抓取的过程中为了避免IO操作,主要用Redis做插入缓存,当内存占用率很大时,会周期性的持续到Mysql里虽然是拆东墙补西墙,但把数据抓取完毕后持续化可以慢慢进行,毕竟数据已经保存到内存里了,但问题来了,由于Redis的内存管理机制并不会在数据删除后立即释放内存,使得将数... 阅读全文
posted @ 2015-09-27 08:28 Justin.cn 阅读(540) 评论(0) 推荐(0) 编辑