描述:ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。下面介绍了利用Python API接口进行数据查询,方便其他系统的调用。
 
 
安装API
1
pip install elasticsearch
 
建立es连接
1
2
from elasticsearch import Elasticsearch
es = Elasticsearch([{'host':'10.10.13.12','port':9200}])

  

数据检索功能
1
es.search(index='logstash-2015.08.20', q='http_status_code:5* AND server_name:"web1"', from_='124119')

 

常用参数
  • index - 索引名
  • q - 查询指定匹配 使用Lucene查询语法
  • from_ - 查询起始点  默认0
  • doc_type - 文档类型
  • size - 指定查询条数 默认10
  • field - 指定字段 逗号分隔
  • sort - 排序  字段:asc/desc
  • body - 使用Query DSL
  • scroll - 滚动查询
 
统计查询功能
# 语法同search大致一样,但只输出统计值
1
2
In[52]: es.count(index='logstash-2015.08.21', q='http_status_code:500')
Out[52]:{u'_shards':{u'failed':0, u'successful':5, u'total':5}, u'count':17042}

  

 
知识扩展
  • 滚动demo
 
以上demo实现了一次取若干数据,数据取完之后结束,不会获取到最新更新的数据。我们滚动完之后想获取最新数据怎么办?滚动的时候会有一个统计值,如total: 5。跳出循环之后,我们可以用_from参数定位到5开始滚动之后的数据。
 
  • Query DSL
 
range过滤器查询范围
gt: > 大于
lt: < 小于
gte: >= 大于或等于
lte: <= 小于或等于
  1.   

bool组合过滤器
must:所有分句都必须匹配,与 AND 相同。
must_not:所有分句都必须不匹配,与 NOT 相同。
should:至少有一个分句匹配,与 OR 相同。
 
 
term过滤器
  • term单过滤

  

  • terms复数版本,允许多个匹配条件
 
 
正则查询 
 
 
match查询
  • match 精确匹配
 
  • multi_match 多字段搜索
 
 
demo
  • 获取最近一小时的数据
  1.   

  • 条件过滤查询
 
  • Terms Facet 单字段统计

   

  • 一次统计多个字段

  

  • 多个字段一起统计

  

 
数据组装
 
以下是kibana首页的demo,用来统计一段时间内的日志数量

  

如果想添加匹配条件,在以上代码标识部分加上过滤条件,按照以下代码格式即可

  

先介绍到这里,后续会有Query DSL API介绍。

 

 posted on   letong  阅读(27578)  评论(3编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示