随笔 - 368, 文章 - 0, 评论 - 56, 阅读 - 94万
  博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  Elasticsearch

摘要:跨集群复制(CCR)功能支持将远程集群中的索引复制到本地集群。 可以在一些常见的生产用例中使用此功能: 灾难恢复(DR)/高可用性(HA):如果主群集发生故障,则进行灾难恢复。 辅助群集可以用作热备份 地理位置优先:在 Elasticsearch 中复制数据以更接近用户或应用程序服务器,从而减少延迟 阅读全文

posted @ 2023-02-05 16:03 天戈朱 阅读(594) 评论(0) 推荐(0) 编辑

摘要:跨集群搜索(cross-cluster search)使你可以针对一个或多个远程集群运行单个搜索请求。 例如,你可以使用跨集群搜索来筛选和分析存储在不同数据中心的集群中的日志数据。 示例 :在一个集群里访问多个云厂商所提供的集群,并对跨数据的数据进行搜索,如下图: 如上面所述,当 client 向集 阅读全文

posted @ 2023-02-05 16:03 天戈朱 阅读(461) 评论(0) 推荐(0) 编辑

摘要:为了能够实现 CCR(跨集群复制 Cross-cluster replication) 及 CCS(跨集群搜索 Cross-cluster search ),我们必须让集群之间能够互信,这样才可以建立集群之间的连接。以通过以下方式建立集群之间的互信。在用于执行跨集群搜索的集群(本地集群)和所有远程集 阅读全文

posted @ 2023-02-05 16:02 天戈朱 阅读(465) 评论(0) 推荐(0) 编辑

摘要:数据量增长,当前存在的问题: 查询与写入越来越慢,聚合的速度慢的离谱,聚合的数据量大一些的话,可能出现超时失败,甚至OOM 磁盘和内存资源以肉眼可见的速度快速消耗,甚至出现满载的情况 JVM频繁GC,fullGC的频率逐渐变高,甚至由于GC卡顿导致系统不可用的情况发生 阶段一方案: 将索引按照某些条 阅读全文

posted @ 2023-02-05 16:02 天戈朱 阅读(60) 评论(0) 推荐(0) 编辑

摘要:Monitoring是elastic stack的监控模块,监控信息存在es索引中,并且可以通过kibana进行可视化的展示。(收集监控数据的方式从6.5版本起由Collectors-Exporters模式逐步迁移到使用Metricbeat进行收集) 一、原理及源码结构 Monitor模块按组件分为 阅读全文

posted @ 2023-02-05 16:02 天戈朱 阅读(725) 评论(0) 推荐(0) 编辑

摘要:Elasticsearch 是一个实时分布式搜索数据分析引擎,内部使用lucene做索引与搜索,能够解决常规和各种类型数据的存储及检索需求,典型的应用场景有:数据分析,站内搜索,ELK,电商等,主要特点为: 灵活的检索、排序策略; 集群分布式,易扩展,平行扩缩容; 数据分片主备机制,系统安全高可用; 阅读全文

posted @ 2021-02-28 15:28 天戈朱 阅读(532) 评论(0) 推荐(0) 编辑

摘要:基本概念 refresh:es接收数据请求时先存入ES进程中的内存 Buffer ,默认每隔一秒(index.refresh_interval:1s)会从内存buffer中将数据写入 os cache,这个过程叫做refresh; fsync:translog会每隔5秒或者在一个变更请求完成之后执行 阅读全文

posted @ 2021-02-28 14:34 天戈朱 阅读(476) 评论(0) 推荐(0) 编辑

摘要:Elasticsearch的Mapping,定义了索引的结构,类似于关系型数据库的Schema. Mapping Type:每个索引都拥有唯一的 mapping type,用来决定文档将如何被索引。从7.x开始,不需要在Mapping中指定type信息,默认type为 _doc。mapping ty 阅读全文

posted @ 2021-02-28 14:03 天戈朱 阅读(169) 评论(0) 推荐(0) 编辑

摘要:索引的配置项按是否可以更改分为static属性与动态配置,所谓的静态配置即索引创建后不能修改。目录如下:生产环境中某索引结构(7.X后有变化) 索引静态配置 1、分片与压缩 index.number_of_shards:一个索引的主分片(primary shards)数。在ES层面可以通过 es.i 阅读全文

posted @ 2021-02-28 13:57 天戈朱 阅读(187) 评论(0) 推荐(0) 编辑

摘要:基本概念:ES(一): 架构及原理 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elasticsearch ⇒ 索引(Index) ⇒ 类型(Type) ⇒ 文档(Document) ⇒ 字段(Fields) 正向数据的层次结构: 索引(Index) –> 段(segment) 阅读全文

posted @ 2021-02-28 13:34 天戈朱 阅读(373) 评论(0) 推荐(0) 编辑

摘要:业务量增加,优化..优化... 学习... 学习..... 阮一鸣,eBay Pronto 平台技术负责人,管理了 eBay 内部上百个 Elasticsearch 集群,数据规模超过 4000 节点,支撑了订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域服务 课程: 阅读全文

posted @ 2021-02-28 13:12 天戈朱 阅读(188) 评论(0) 推荐(0) 编辑

摘要:纵观任何一家大数据平台的技术架构,总少不了ElasticSearch;ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件,更绝的是提供了一套集数据采集与前端展现为一体的框架(即ELK), 在我们的应用过程中,与ES集成的前端框架包含有Kibana、Grafana等系统,实际应用过程中 阅读全文

posted @ 2019-01-23 15:43 天戈朱 阅读(3867) 评论(1) 推荐(0) 编辑

摘要:Elasticsearch是一个分布式的搜索引擎,每个索引都可以有多个分片,用来将一份大索引的数据切分成多个小的物理索引,解决单个索引数据量过大导致的性能问题,另外每个shard还可以配置多个副本,来保证高可靠以及更好的抗并发的能力。 将一个索引切分成多个shard,大多数时候是没有问题的,但是在e 阅读全文

posted @ 2018-06-12 08:52 天戈朱 阅读(2991) 评论(0) 推荐(0) 编辑

摘要:在ElaticSearch里面,路由功能算是一个高级用法,大多数时候我们用的都是系统默认的路由功能,一个es索引可以分多个shard和每个shard又可以有多个replia,默认情况下,elasticsearch是通过hash的方式确定每个文档所属的分片的,公式如下: shard_num = has 阅读全文

posted @ 2018-06-11 16:28 天戈朱 阅读(2859) 评论(1) 推荐(0) 编辑

摘要:curl是一个非常实用的、用来与服务器之间传输数据的工具;支持的协议包括 (DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, 阅读全文

posted @ 2017-02-26 06:50 天戈朱 阅读(1040) 评论(0) 推荐(0) 编辑

摘要:ES cluster 提供了针对不同模块的参数设置,可通过修改集群上各个节点的elasticsearch.yml文件,也可在集群运行时通过api接口来更新(https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster- 阅读全文

posted @ 2017-02-26 06:49 天戈朱 阅读(2680) 评论(0) 推荐(1) 编辑

摘要:目录: ES安全事件回顾 ES集群安全建议 安全访问配置 license更新 ES安全事件回顾 下面是白帽汇监测到针对全球使用广泛的全文索引引擎Elasticsearch的勒索事件: 2017年1月12日上午10时,白帽汇发现第一波勒索者,分析统计,发现共有10264台服务器已经遭受攻击,并且还一直 阅读全文

posted @ 2017-02-23 21:37 天戈朱 阅读(1862) 评论(0) 推荐(0) 编辑

摘要:Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程。 目录: LVM基本术语 Azure Storage 介绍 ES cluster 阅读全文

posted @ 2017-02-23 20:14 天戈朱 阅读(426) 评论(0) 推荐(0) 编辑

摘要:目录: 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见: HDP2.4安装(二):Centos7配置 修改network: 修改hosts: 配置ssh : 配置ntp服务 配置selinux 安装java jdk 文件数与虚拟内存配置 命令:vim 阅读全文

posted @ 2017-02-22 22:10 天戈朱 阅读(564) 评论(0) 推荐(0) 编辑

摘要:本章记录在ES集群之前的环境准备工作,主要包含的内容如下: 目录: 创建linux虚拟机 启用root用户 创建linux虚拟机 首先创建一个云服务 按向导创建云服务名称,如下 创建虚拟机, 第二步:选择"基本“类型,输入用户名和密码 选择上一步创建的云服务 选择”确认“进行安装 启用Root用户 阅读全文

posted @ 2017-02-22 21:55 天戈朱 阅读(370) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示