Elasticsearch应用
一、介绍
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。
安装API
pip3 install elasticsearch
建立es连接
无用户名密码状态
from elasticsearch import Elasticsearch
es = Elasticsearch([{'host':'10.10.13.12','port':9200}])
默认的超时时间是10秒，如果数据量很大，时间设置更长一些。如果端口是9200，直接写IP即可。代码如下：
es = Elasticsearch(['10.10.13.12'], timeout=3600)
用户名密码状态
如果Elasticsearch开启了验证，需要用户名和密码
es = Elasticsearch(['10.10.13.12'], http_auth=('xiao', '123456'), timeout=3600)
数据检索功能
es.search(index='logstash-2015.08.20', q='http_status_code:5* AND server_name:"web1"', from_='124119')
常用参数
- index - 索引名
- q - 查询指定匹配 使用Lucene查询语法
- from_ - 查询起始点 默认0
- doc_type - 文档类型
- size - 指定查询条数 默认10
- field - 指定字段 逗号分隔
- sort - 排序 字段：asc/desc
- body - 使用Query DSL
- scroll - 滚动查询
统计查询功能
语法同search大致一样，但只输出统计值
es.count(index='logstash-2015.08.21', q='http_status_code:500')
输出：
{'_shards':{'failed':0, 'successful':5, 'total':5}, 'count':17042}
17042 就是统计值！
知识扩展
滚动demo
# Initialize the scroll page = es.search( index ='yourIndex', doc_type ='yourType', scroll ='2m', search_type ='scan', size =1000, body ={ # Your query's body }) sid = page['_scroll_id'] scroll_size = page['hits']['total'] # Start scrolling while(scroll_size >0): print "Scrolling..." page = es.scroll(scroll_id = sid, scroll ='2m') # Update the scroll ID sid = page['_scroll_id'] # Get the number of results that we returned in the last scroll scroll_size = len(page['hits']['hits']) print "scroll size: "+ str(scroll_size) # Do something with the obtained page
以上demo实现了一次取若干数据，数据取完之后结束，不会获取到最新更新的数据。我们滚动完之后想获取最新数据怎么办？滚动的时候会有一个统计值，如total: 5。跳出循环之后，我们可以用_from参数定位到5开始滚动之后的数据。
但是我用的不是这个，用的是以下方法，链接如下：
https://www.cnblogs.com/blue163/p/8126156.html
在下面的内容中，我会详细介绍此代码如何使用！
二、Query DSL
range过滤器查询范围
gt: > 大于 lt: < 小于 gte: >= 大于或等于 lte: <= 小于或等于
示例代码1
"range":{
"money":{
"gt":20,
"lt":40
}
}
时间范围
最近时间段
比如我要查询最近1分钟的
"range": {
'@timestamp': {'gt': 'now-1m'}
}
最新1小时
"range": {
'@timestamp': {'gt': 'now-1h'}
}
最新1天的
"range": {
'@timestamp': {'gt': 'now-1d'}
}
指定时间段
那么问题来了，它是根据当前时间来计算最近的时间。但是有些情况下，我需要制定时间范围，精确到分钟
假设需要查询早上8点到9点的数据，可以这样
"range": {
'@timestamp': {
"gt" : "{}T{}:00:00".format("2018-12-17","08"),
"lt": "{}T{}:59:59".format("2018-12-17","09"),
"time_zone": "Asia/Shanghai"
}
}
注意：日期和小时之间，有一个字母T来间隔。不能用空格！
time_zone 表示时区，如果默认的时区不会，可能会影响查询结果！
bool组合过滤器
must：所有分句都必须匹配，与 AND 相同。 must_not：所有分句都必须不匹配，与 NOT 相同。 should：至少有一个分句匹配，与 OR 相同。
示例代码
{
"bool":{
"must":[],
"should":[],
"must_not":[],
}
}
term过滤器
term单过滤
{
"terms":{
"money":20
}
}
表示money包含20的记录
terms复数版本
允许多个匹配条件
{
"terms":{
"money": [20,30]
}
}
表示money包含20或者30的记录
结合bool+term来举一个实际的例子：
查询path字段中包含applogs最近1分钟的记录
"bool": {
"must": [
{
"terms": {
"path": [
"applogs",
]
}
},
{
"range": {
'@timestamp': {'gt': 'now-1m'}
}
}
]
}
这里使用了terms复数版本，可以随时添加多个条件！
正则查询
{
"regexp": {
"http_status_code": "5.*"
}
}
match查询
match 精确匹配
{
"match":{
"email":"123456@qq.com"
}
}
multi_match 多字段搜索
{
"multi_match":{
"query":"11",
"fields":["Tr","Tq"]
}
}
