随笔分类 -  分布式方案-日志ELK

Docker搭建Kafka
摘要：下载Kafka和Zookeeper镜像文件 先运行zk，再运行kafka 创建主题 在项目代码我们可以进行AOP日志处理，将异常信息 发送到Kafaka 然后 Logstash订阅话题，将数据写入到ES中。 Logstash配置: 通过Logstash去订阅主题，主题要保持一致与代码，与创建的主题。 阅读全文
posted @ 2019-08-24 22:14 toov5 阅读(2629) 评论(0) 推荐(1) 编辑
IK分词器
摘要：版本一定要与es对应！！！ 下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.8.0 解压到 启动参考: https://www.cnblogs.com/toov5/p/11361413.html 启 阅读全文
posted @ 2019-08-22 00:31 toov5 阅读(184) 评论(0) 推荐(0) 编辑
Docker搭建ES集群
摘要：Spring Boot连接ES，spring-boot-starter-data-elasticsearch。 必须为集群方式！否则报错！ 报错： 安装步骤: 进入 cd /home 步骤解析： 1. 目录文件： 是用来挂载用的，同步配置文件。容器的和外部的同步。 3. 4. 5. 表示两个es外部 阅读全文
posted @ 2019-08-16 00:37 toov5 阅读(11255) 评论(1) 推荐(1) 编辑
Logstash配置同步mysql到es配置
摘要：关于logstash安装:https://www.cnblogs.com/toov5/p/10301727.html Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地 下面进一步详细说配置: 注意： 阅读全文
posted @ 2019-08-15 00:37 toov5 阅读(18442) 评论(0) 推荐(0) 编辑
Docker安装ES和Kibana
摘要：1.ES安装 一定要关闭防火墙！ 测试访问： 注意：-p 5601:5601 是kibana的端口地址 (我这里kibana的container共用elasticsearch的网络，所以这样设置。 补充: 如果运行时候报错： docker run -it --name elasticsearch - 阅读全文
posted @ 2019-08-14 00:45 toov5 阅读(3213) 评论(0) 推荐(0) 编辑
分布式日志收集总结
摘要：kafka chukwa Flumc Logstash 阅读全文
posted @ 2019-02-11 15:53 toov5 阅读(145) 评论(0) 推荐(0) 编辑
ELK分布式日志收集搭建和使用
摘要：大型系统分布式日志采集系统ELK全框架 SpringBootSecurity1、传统系统日志收集的问题2、Logstash操作工作原理3、分布式日志收集ELK原理4、Elasticsearch+Logstash+Kiabana整合5、Logstash将数据推送到ES6、Kibana图形界面展示ES日 阅读全文
posted @ 2019-01-22 02:26 toov5 阅读(6859) 评论(0) 推荐(0) 编辑
ElasticSearch高可用集群环境搭建和分片原理
摘要：1、ES是如何实现分布式高并发全文检索 2、简单介绍ES分片Shards分片技术 3、为什么ES主分片对应的备分片不在同一台节点存放 4、索引的主分片定义好后为什么不能做修改 5、ES如何实现高可用容错方案 6、搭建Linux上环境三台ES高可用集群环境 ES是如何解决高并发 ES是一个分布式全文检 阅读全文
posted @ 2019-01-21 02:56 toov5 阅读(10076) 评论(0) 推荐(1) 编辑
SpringBoot2.0+ElasticSearch网盘搜索实现
摘要：1、ES是如何实现分布式高并发全文检索 2、简单介绍ES分片Shards分片技术 3、为什么ES主分片对应的备分片不在同一台节点存放 4、索引的主分片定义好后为什么不能做修改 5、ES如何实现高可用容错方案 6、搭建Linux上环境三台ES高可用集群环境 7、基于ES网盘搜索引擎实现 网盘搜索引擎， 阅读全文
posted @ 2019-01-21 02:51 toov5 阅读(1063) 评论(0) 推荐(0) 编辑
Elasticsearch6.4.3文档的映射
摘要：已经把ElasticSearch的核心概念和关系数据库做了一个对比，索引（index）相当于数据库，类型(type)相当于数据表，映射(Mapping)相当于数据表的表结构。ElasticSearch中的映射（Mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等等。 阅读全文
posted @ 2019-01-21 02:04 toov5 阅读(964) 评论(0) 推荐(0) 编辑
中文分词器
摘要：使用因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件 在下载使用插件时候 一定要注意 版本对应！ github地址： https://github.com/medcl/elasticsearch-an 阅读全文
posted @ 2019-01-21 01:35 toov5 阅读(1085) 评论(0) 推荐(0) 编辑
Elasticsearch入门
摘要：1、ES9300端口号与9200区别2、Elasticsearch倒排索引原理3、Elasticsearch高级查询4、ElasticsearchIK分词器原理5、ElasticsearchIK中文分词器6、IK自定义中文词典热词7、Elasticsearch Mapping映射 1.区别： 930 阅读全文
posted @ 2019-01-21 00:30 toov5 阅读(351) 评论(0) 推荐(0) 编辑
SpringBoot2.0之整合ElasticSearch
摘要：就类比数据库到时候去实现 服务器端配置 集群名字 与yml名字一致 pom: 项目结构： Entity： Dao： Controller： 成功： 查看： 查询： 阅读全文
posted @ 2019-01-20 22:09 toov5 阅读(2239) 评论(0) 推荐(0) 编辑
使用kibana进行简单的CRUD和版本控制
摘要：使用： ##删除索引DELETE /toov5 { } 表示一行数据 toov5 表示数据库 版本控制： 1.为什么要进行版本控制 为了保证数据再多线程操作下的准确性 2.悲观锁和乐观锁（CAS无所机制） 悲观锁：假设会发生并发冲突，屏蔽一切可能违反数据准确性的操作 乐观锁：假设不会发生并发冲突，只 阅读全文
posted @ 2019-01-20 20:35 toov5 阅读(353) 评论(0) 推荐(0) 编辑
Elasticsearch6.4.3安装
摘要：Linux内存一定要1g以上！ 首先要有jdk环境 要求1.8版本以上 elasticsearch是Java写的 将上传的 elasticSearch安装包解压 cd /home/elasticsearch/elasticsearch-6.4.3/config 1、 修改elasticsearch. 阅读全文
posted @ 2019-01-20 18:53 toov5 阅读(3937) 评论(1) 推荐(1) 编辑
Elasticsearch6.0简介入门介绍
摘要：Elasticsearch简单介绍 Elasticsearch (ES)是一个基于Lucene构建的开源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 还是一个分布式文档数据库（存放的JSON格式的），其中每个字段均是被索引的数据且可被搜索（京东的搜索数据商品 细节 相关都可 阅读全文
posted @ 2019-01-18 22:54 toov5 阅读(905) 评论(0) 推荐(0) 编辑