随笔分类 - es 专题
记录关于es 、kibana 相关文章， 包括安装步骤等。
摘要：ELK流程图 单纯使用ElK实现分布式日志收集缺点： 1、logstash太多了，扩展不好。 2、读取IO文件，可能会产生日志丢失 3、不是实时性 这时候就需要引入 kafka。 kafka基于主题模式(topic),支持发布与订阅，kakfa自带解决分布式事务、最终一致性问题、补偿、重试，也可以缓
阅读全文
摘要：Logstash 实现ES 与数据库同步： 使用定时器(使用sql 定时的去查询数据进行同步)、实现方式比较简单。 MQ 实现 ES 与数据库同步： 实时性，消息放到MQ中，消费者会自动的消费，复杂性更高。 MQ方式保持数据一致性比较强，因为MQ能够自动重试、补偿。而logstash无法实现补偿、重
阅读全文
摘要：传统系统日志收集的问题 在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常底下。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样
阅读全文
摘要：网盘搜索引擎原理： 1、采用 ES 存储抓取的数据 2‘、抓取数据服务器 网盘索搜引擎场景：搜索学习资料、热门电影等。
阅读全文
摘要：环境需要 1、安装jdk环境 2、安装Elasticsearch 注意事项：ES非常占内存，默认启动是1g内存，可以修改512m 3.Kibana可视化界面 第一步 将 es、kibana 安装包分别上传到linux服务器上，存放在 /usr/local 目录下。 第二步 解压 es，解压命令：ta
阅读全文
