java查询大量Mongo数据

游标：解决mongo中对海量数据查询oom问题

 

我们要获取某张表中的所有数据时通过findAll方法把所有数据加载到代码内存中，这样就很耗内存导致服务器宕机。所以要获取多有数据可以使用游标来多次遍历获取

游标返回的并不是真实数据，而是指向该数据集合的指针，只有循环迭代游标时才会真正的从数据库中读取真实的数据。正如下边实例中，

FindIterable<Document> findIterable=mongoTemplate.getCollection("yldc-v2-payload").find(query);只是获取的指向数据集的指针，只有在while(cursor.hasNext())遍历时才真正根据游标指针去数据库中获取指针的数据，这样做其实是在循环游标时候逐条获取数据库中真实数据，从而避免造成oom一场，但这样并不能提高查询性能。

public void cursorFind(){
        Bson query=new BasicDBObject();
//        Bson query1 = Filters.in("_id",digests);
        MongoCursor<Document> cursor = null;
        int count=0;
        try{
            FindIterable<Document> findIterable=mongoTemplate.getCollection("yldc-v2-payload").find(query);
            cursor = findIterable.iterator();
            while (cursor.hasNext()) {
                Map obj=cursor.next();
                mongoTemplate.save(obj,"env-v2-payload.bak");
                log.info("saving...:{}",count++);
            }
        }catch(Exception e){
            System.out.println("error");
        }
    }

• 设置游标查询不超时

noCursorTimeout(true)

必须设置此属性，防止数据库连接超时，导致的游标连接自动关闭。

 

参考：

https://blog.csdn.net/weixin_55891090/article/details/114854236