Elasticsearch利用scroll查询获取所有数据

Elasticsearch有两种分页方式，一种是通过from和size条件来实现，但是该方法开销比较大，另一种是利用scroll来实现，通过scroll来实现分页获取所有的数据，下面是利用python实现的scroll获取全部数据的方式：

from elasticsearch import Elasticsearch

if __name__ == "__main__":
    es=Elasticsearch([{"host":"10.120.241.194","port":"9200"}])
    query_json={
        "match": {
            "type":3
        }
    }
    queryData = es.search(index='index', scroll='5m', timeout='3s', size=100, body={"query":query_json})

    mdata = queryData.get("hits").get("hits")
    if not mdata:
        print 'empty!'

    scroll_id = queryData["_scroll_id"]
    total = queryData["hits"]["total"]
    for i in range(total/100):
        res = es.scroll(scroll_id=scroll_id, scroll='5m') #scroll参数必须指定否则会报错
        mdata += res["hits"]["hits"]
        print res
    print mdata

通过上面的方法就可以获取es中符合条件的所有记录了。

 

如果出现{u'index': None, u'reason': {u'reason': u'No search context found for id [303859]', u'type': u'search_context_missing_exception'}这样的问题，是因为代码第19行没有加上scroll参数