Elasticsearch 技术分析(一): 基础入门
💡简介
Elasticsearch是一个高度可扩展的、开源的、基于 Lucene 的全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据,并支持多租户。
Elasticsearch也使用Java开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的 RESTful API 来隐藏 Lucene 的复杂性,从而让全文搜索变得简单。
不过,Elasticsearch 不仅仅是 Lucene 和全文搜索,我们还能这样去描述它:
- 分布式的实时文件存储,每个字段都被索引并可被搜索
- 分布式的实时分析搜索引擎
- 可以扩展到上百台服务器,处理PB级结构化或非结构化数据
而且,所有的这些功能被集成到一个服务里面,你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。
💡版本选择
在决定使用 Elasticsearch 的时候首先要考虑的是版本问题,Elasticsearch 目前有三个常用的稳定的主版本:2.x,5.x,6.x(排除 0.x 和 1.x)。
Elasticsearch 可以在这里查看所有历史版本,博主写这篇博文的时候最新的是 Elasticsearch 6.4.2。你可能会发现没有 3.x 和 4.x,ES 从 2.4.6 直接跳到了 5.0.0。这是为什么?
其实是为了ELK(ElasticSearch, logstash, kibana)技术栈的版本统一,免的给用户带来混乱。
我们知道 elasticsearch,kibana,logstash 都是 Elastic Stack 成员, 而且很多时候都是配合使用,那么为了协同开发,避免造成版本困惑,所以需要统一版本,至少保持在一个主版本号下。
在 Elasticsearch 是 2.x (2.x 的最后一版 2.4.6 的发布时间是 July 25, 2017) 的情况下,kibana 已经是 4.x(Kibana 4.6.5 的发布时间是 July 25, 2017),那么在 kibana 的下一主版本肯定是 5.x 了,所以 Elasticsearch 直接将自己的主版本发布为 5.0.0 了。统一之后,我们选版本就不会犹豫困惑了,我们选定 elasticsearch 的版本后再选择相同版本的 kibana 就行了,不用担忧版本不兼容的问题。
版本选择可以从以下几个方面考虑:
-
版本问题
2.x 版本较老,无法体验新功能,且性能不如 5.x。
6.x 版本有点新,网上资料相对比较少(开发时间充足的可以研究)。 -
数据迁移
2.x 版本数据可以直接迁移到 5.x;
5.X 版本的数据可以直接迁移到 6.x; 但是 2.x 版本数据无法直接迁移到 6.x。 -
周边工具
2.x 版本周边工具版本比较混乱;Kibana 等工具的对应版本需要自己查,不好匹配。
5.x 之后 Kibana 等工具的主版本号进行了统一。 -
Sql 语法支持
2.x,5.x,6.x 都可以安装 Elasticsearch-sql 插件,使用熟悉的SQL语法查询 Elasticsearch。
6.3.0 以后内置支持 SQL 模块,这个 SQL 模块是属于 X-Pack 的一部分。
通过以上的版本号了解之后,综合考虑,我起始选择了 elasticsearch 6.4.0版本,其实主要是因为它新,kibana 也选择了 kibana 6.4.0。但是等本地开发完成准备部署的时候,运维通知切换到5.6.0,因为公司其他部门的是5.6.0,方便统一维护,还好 API 变化不大。
💡环境搭建
安装 Elasticsearch#
Elasticsearch5.0之后的版本至少需要Java 8。可通过如下命令检查Java版本,然后根据需要进行相应的安装/升级。
java -version
echo $ JAVA_HOME
你可以从 elastic.co/download 下载你需要的版本的Elasticsearch,解压之后即可使用。
如果是集群形式的,可在 ...\elasticsearch-5.6.0\config\elasticsearch.yml
中配置一些你的集群信息:
cluster.name: my-application # 集群名称
path.data: /path/to/data # ES数据存储路径
path.logs: /path/to/logs # ES日志存储路径
node.name: node-1 # 当前节点的名称
network.host: 192.168.0.1 # 配置当前结点绑定的IP地址,可设置为0.0.0.0
http.port: 9200 # 设置对外服务的HTTP端口,默认为9200
运行 Elasticsearch#
elasticsearch 准备好之后,在安装目录中执行以下命令可以启动运行:
Linux
./bin/elasticsearch
Windows
D:\...\elasticsearch-6.4.0\bin\elasticsearch.bat
运行成功之后(启动日志里面会有.. started
标志),浏览器访问http://localhost:9200/?pretty
,你能看到类似以下返回信息(各版本稍微不同):
{
"name" : "AGXQ3qy",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "mg9t4Yi2TRud1JNwRY0bPA",
"version" : {
"number" : "6.4.0",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "595516e",
"build_date" : "2018-08-17T23:18:47.308994Z",
"build_snapshot" : false,
"lucene_version" : "7.4.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
这说明你的 Elasticsearch 集群已经启动成功并且正常运行,接下来我们可以开始使用了。
💡可视化 web 界面
由于 Elasticsearch 的交互方式是 Rest 形式的,这种不是很直观方便,我们先安装图视化界面,方便我们操作。可选择的目前主要有 elasticsearch-head 和 kibana。
elasticsearch-head#
elasticsearch-head 是一个用于浏览和与 elasticsearch 集群交互的Web前端。elasticsearch-head 是 elasticsearch 集群管理、数据可视化、增删查改、查询语句可视化工具。elasticsearch head 是托管的,可以在 github 下载或 fork。
有两种运行和安装elasticsearch-head的方法:
作为ElasticSearch的插件运行(这是首选方法)
- elasticsearch/bin/elasticsearch-plugin -install mobz/elasticsearch-head。
- open http://localhost:9200/_plugin/head/。
注意:
插件的安装方法,5.0之前为plugin -install …
,而在 5.0 以后为elasticsearch-plugin -install …
。
作为独立的webapp运行
git clone git://github.com/mobz/elasticsearch-head.git
。- 在浏览器中打开 index.html。现代浏览器需要使用 es-head。
- 默认情况下,es-head 将尝试连接到http:// localhost:9200 /的集群节点。
- 在连接框中输入不同的节点地址,如果需要,单击“连接”。
由于 Head 安装起来比较麻烦( 需要安装 node.js ),网上资料也很多,所以我就不详细说了,更多信息可参考:elasticsearch-head
kibana#
Kibana 和 elasticsearch 同属于 elastic 公司。 Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工作。您使用Kibana搜索,查看和与存储在 Elasticsearch 索引中的数据进行交互。您可以轻松地执行高级数据分析,并在各种图表,表格和地图中可视化您的数据。
Kibana 使您可以轻松理解大量数据。其简单的基于浏览器的界面使您能够快速创建和共享动态仪表板,实时显示 Elasticsearch 查询的更改。
设置 Kibana 非常容易。您可以安装 Kibana 并在几分钟内开始探索您的 Elasticsearch 索引 - 无需代码,无需额外的基础架构。
同样可在 kibana 选择需要的对应版本(与 elasticsearch 版本对应),然后下载解压即可使用,具体步骤如下:
- 下载并解压缩 Kibana。
- 在编辑器中打开 config / kibana.yml。
- 设置 elasticsearch.url 为您的Elasticsearch实例,如本地:
elasticsearch.url: "http://localhost:9200"
。 - 运行 bin/kibana(或bin\kibana.bat在Windows上)。
- 浏览器输入 http:// localhost:5601。
如果运行成功,但是无法访问,可以关闭防火墙再试试。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库