学习笔记-Elasticsearch

概述

Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据﹔本身扩展性很好可以扩展到上百台服务器，处理PB级别(大数据时代）的数据。es也使用lava开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

Elasticsearch VS Solr

1、es基本是开箱即用（解压就可以用!)，非常简单。Solr安装略微复杂一丢丢!
2、Solr利用Zookeeper进行分布式管理，而Elasticsearch自身带有分布式协调管理功能。3、Solr支持更多格式的数据，比如JSON、XML、CSV，而Elasticsearch仅支持json文件格式。
4、Solr官方提供的功能更多，而Elasticsearch本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友好支撑~!
5、Solr查询快，但更新索引时慢（即插入删除慢），用于电商等查询多的应用;·ES建立索引快（即查询慢），即实时性查询快，用于facebook新浪等搜索。
. Solr是传统搜索应用的有力解决方案，但Elasticsearch更适用于新兴的实时搜索应用。
6、Solr比较成熟，有一个更大，更成熟的用户、开发和贡献者社区，而Elasticsearch相对开发维护者较少，更新太快，学习使用成本较高。

Elasticsearch 安装

JDK1.8是最低要求

下载地址：

Download Elasticsearch | Elastic

• window下安装学习：

修改配置config/jvm.options

-Xms256m
-Xmx256m

在Elasticsearch.yml末尾添加了如下代码：

http.cors.enabled: true        # 开启跨域支持
http.cors.allow-origin: "*"		# 所有人都能访问
cluster.name: pengliang
node.name: master
node.master: true
network.host: 127.0.0.1

运行：Elasticsearch.bat

访问测试：

下载安装可视化界面es-head

https://github.com/mobzlelasticsearch-head/

在主目录启动：

npm install
npm run start

连接测试会有跨域问题，要配置es.yml

http.cors.enabled: true        # 开启跨域支持
http.cors.allow-origin: "*"		# 所有人都能访问

再次连接：

结果：

Kibana

了解ELK

ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es.Logstash是ELK的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地(文件/MQ/redis/elasticsearch/kafka等 )。Kibana可以将elasticsearch的数据通过友好的页面展示出来，提供实时分析的功能。

市面上很多开发只要提到ELK能够一致说出它是一个日志分析架构技术栈总称，但实际上ELK不仅仅适用于日志分析，它还可以支持其它任何数据分析和收集的场景，日志分析和收集只是更具有代表性。并非唯一性。

下载安装Kibana 注意与Elasticsearch版本一致！！！

Download Kibana Free | Get Started Now | Elastic

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana ,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard ) 实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编码或者额外的基础架构，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

启动 Kibana.bat ,测试：

修改Kibana.yml 配置：完成汉化

#i18n.locale: "en"
i18n.locale: "zh-CN"

IK分词器插件

概述：

分词:即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“你好世界"会被分为"你"好""世"界”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。

如果要使用中文，建议使用ik分词器!

IK提供了两个分词算法:ik_smart和ik_max_word，其中 ik_smart为最少切分，ik_max_word为最细粒度划分!

安装：

Release v7.6.1 · medcl/elasticsearch-analysis-ik · GitHub （注意版本对应）

解压到 elasticsearch/plugins/ik 目录下~~~

重启观察es

通过命令查看加载的插件:

启动kibana

查看不同分词器效果:

• ik_smart

• ik_max_word

输入 三体：

发现三体两个字被拆分~~这种自己需要的词，需要自己加到我们的分词器的字典中!

自定义词典并导入：

导入：

重启es测试：

启动时加载了自定义词典：

发现 ”三体“ 成为了一个词

Rest风格说明

method	url地址	描述
PUT	localhost:9200/索引名称/类型名称/文档id	创建文档（指定文档id）
POST	localhost:9200/索引名称/类型名称	创建文档（随机文档id）
POST	localhost:9200/索引名称/类型名称/文档id/_update	修改文档
DELETE	localhost:9200/索引名称/类型名称/文档id	删除文档
GET	localhost:9200/索引名称/类型名称/文档id	查询文档通过文档id
POST	localhost:9200/索引名称/类型名称/_search	查询所有数据

操作索引

1、创建一个索引！

PUT /索引名/类型名/文档id

数据类型

• 字符串 ：text 、keyword
• 数值 ： long 、integer 、short 、byte 、double 、float 、half float 、scaled float
• 日期 ： date
• te布尔值 ：boolean
• 二进制 ： binary

索引创建规则

修改

• 使用put 路径重名，属性会覆盖
• 使用post

删除

delete 索引名
delete 索引名/类型名/id  # 精确删除某个文档

操作文档

基础

1、生成：

2、获取

3、更新：

用put更新时属性没写全更新后会丢失（即使不更新的属性也带上）

4、搜索查询：

复杂搜索

• 过滤

• 排序

GET yang/_doc/_search
{
  "query":{
    "match":{
      "name": "张三"
    }
  },
  "sort":[
      {
        "age":{
          "order":"asc"   # “desc"
        }   
      }
    ]   
}

• 分页：

• 布尔查询

  • must （所有条件都必须符合）

    

  • should 符合一个

    

  • must_not 必须不是

    

  • filter 过滤 lt gt lte gte

    

keyworld 类型不会被分词器解析，text会

高亮

自定义前后缀：

集成springboot

注意导入的 es 版本要与安装的版本一致

配置：

@Configuration
public class ElasticsearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(
            new HttpHost("127.0.0.1", 9200, "http")
        ));
        return client;
    }
}

索引测试：

先引入：

@Autowired
private RestHighLevelClient restHighLevelClient;

@Test
// 测试索创建
void contextLoads() throws IOException {
    // 创建索引请求
    CreateIndexRequest request = new CreateIndexRequest("yang_index");
    // 客户端执行请求 IndicesClient 后获得响应
    CreateIndexResponse response = restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);

    System.out.println(response);
}

// 测试获取索引判断器是否存在
@Test
void test1() throws IOException {
    GetIndexRequest request = new GetIndexRequest("yang_index");
    boolean exists = restHighLevelClient.indices().exists(request, RequestOptions.DEFAULT);
    System.out.println(exists);
}

// 测试删除索引
@Test
void test2() throws IOException {
    DeleteIndexRequest request = new DeleteIndexRequest("yang_index");
    AcknowledgedResponse delete = restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
    System.out.println(delete.isAcknowledged());
}

文档：

添加

// 测试添加文档
@Test
void test3() throws IOException {
    User user = new User("张三", 18);
    IndexRequest yang_index = new IndexRequest("yang_index");

    yang_index.id("1").timeout(TimeValue.timeValueSeconds(1)).timeout("1s");

    //数据放入请求 JSON形式
    yang_index.source(JSON.toJSONString(user), XContentType.JSON);
    //客户端发送请求，获取响应结果
    IndexResponse index = restHighLevelClient.index(yang_index, RequestOptions.DEFAULT);

    System.out.println(index.toString());
    System.out.println(index.status()); //created
}

判断是否存在

//获取文档，判断是否存在
@Test
void test4() throws IOException {
    GetRequest getRequest = new GetRequest("yang_index","1");
    //不获取 _source 的上下文
    getRequest.fetchSourceContext(new FetchSourceContext(false));
    getRequest.storedFields("_none_");

    boolean exists = restHighLevelClient.exists(getRequest, RequestOptions.DEFAULT);
    System.out.println(exists);
}

获取信息

//获取文档信息
@Test
void test5() throws IOException {
    GetRequest getRequest = new GetRequest("yang_index","1");
    GetResponse response = restHighLevelClient.get(getRequest, RequestOptions.DEFAULT);
    System.out.println(response.getSourceAsString());
    System.out.println(response);
}

更新

//更新文档信息
@Test
void test6() throws IOException {
    UpdateRequest request = new UpdateRequest("yang_index","1");
    User user = new User("李四", 66);
    //传入数据
    request.doc(JSON.toJSONString(user),XContentType.JSON);
    UpdateResponse update = restHighLevelClient.update(request, RequestOptions.DEFAULT);
    System.out.println(update);
}

删除

//删除文档记录
@Test
void test7() throws IOException {
    DeleteRequest request = new DeleteRequest("yang_index", "1");

    DeleteResponse delete = restHighLevelClient.delete(request, RequestOptions.DEFAULT);
    System.out.println(delete);
}

批量插入

//批量插入数据
@Test
void test8() throws IOException {
    BulkRequest bulkRequest = new BulkRequest();

    ArrayList<User> users = new ArrayList<>();
    users.add(new User("张三",1));
    users.add(new User("张三",2));
    users.add(new User("张三",3));
    users.add(new User("张三",4));
    users.add(new User("张三",5));
    users.add(new User("张三",6));

    //批处理请求
    for (int i = 0; i < users.size(); i++) {
        bulkRequest.add(
            new IndexRequest("yang_index")
            .id(""+(i+1)) // 不自定义id 会随机生成
            .source(JSON.toJSONString(users.get(i)),XContentType.JSON)
        );
    }

    BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
    System.out.println(bulk);

}

查询

// 查询
// SearchRequest   SearchSourceBuilder
@Test
void test9() throws IOException {
    SearchRequest searchRequest = new SearchRequest("yang_index");

    //构建搜索条件
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
    //查询条件使用QueryBuilders工具    termQuery精确    matchAllQuery匹配所有
    TermQueryBuilder age = QueryBuilders.termQuery("age", "4");
    sourceBuilder.query(age);
    //sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

    searchRequest.source(sourceBuilder);//条件放入请求
    //执行请求
    SearchResponse search = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

    System.out.println(JSON.toJSONString(search.getHits()));
    System.out.println("===============");
    for (SearchHit hit : search.getHits().getHits()) {
        System.out.println(hit.getSourceAsString());
    }
}