随笔分类 - 高可用
摘要：MQ框架非常之多，今天简单说一下有代表性的两个MQ(rabbitmq和kafka)。经常会有人问rabbitmq和kafka到底哪个好呢？其实没有好与不好之分，只有哪个更合适，首先要根据自己项目的业务场景和需求来选择更合适的一个MQ。 在应用场景方面 rabbitmq遵循AMQP协议，由内在高并发的
阅读全文
摘要：elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据
阅读全文
摘要：突然发现elk服务器自己重启了，查看日志发现logstash日志比较多 怀疑是之前kill掉logstash进程造成的。想kill掉logstash进程，发现他的进程号老是变化无法杀掉。重启服务器后，logstash进程又启动了。 最后使用的奇葩方法，就是把logstash卸载掉
阅读全文
摘要：原创 IT168企业级 2017-08-21 17:40 本文为您盘点了14个最常见的Kafka面试题，同时也是对Apache Kafka初学者必备知识点的一个整理与介绍。 1、请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式
阅读全文
摘要：1. 配置文件 2. 基本概念 接近实时（NRT） Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个很小的延迟（通常是 1 秒）。 集群（cluster） 代表一个集群，集群中有多个节点（node），其中有一个为主节点，这个主节点是可以通过
阅读全文
摘要：如果elasticsearch删除索引报错 curl -X DELETE 'http://10.73.26.66:9200/httpd-34-2017.08.15' {"error":{"root_cause":[{"type":"illegal_argument_exception","reaso
阅读全文
摘要：preface logstash--> redis --> logstash --> es这套架构在讲究松耦合关系里面是最简单的，架构图如下： 解释下这个架构图的流程 我们可以参考官网的建议：https://www.elastic.co/guide/en/logstash/2.3/deploying
阅读全文
摘要：preface 说道分析日志，我们知道的采集方式有2种： 第一种方式是不怎么推荐使用的，除非是在日志量比较小的场景才推荐使用。因为grok非常影响性能的，且不够灵活，除非你很懂ruby。第二种方式是 我们一直推荐使用的架构，讲究松耦合关系。 下面我们还是说说第一种方式，然后再说第二种方式。 grok
阅读全文
摘要：preface tcp模块的使用场景如下： 有一台服务器A只需要收集一个日志，那么我们就可以不需要在这服务器上安装logstash，我们通过在其他logstash上启用tcp模块，监听某个端口，然后我们在这个服务器A把日志通过nc发送到logstash上即可。 tcp模块的使用 在linux-nod
阅读全文
摘要：preface rsyslog是CentOs系统自带的的一个日志工具，那么我们就配置logstash来接受rsyslog的日志。 logstash的syslog模块 linux-node2上操作logstash采集rsyslog发过来的日志，需要通过syslog模块来接受，这个模块的官网资料是：ht
阅读全文
摘要：preface 我们都搭建了ELK系统，且日志也能够正常收集的时候，那么就配置下kibana。我们可以通过kibana配置柱状图，趋势图，统计图，圆饼图等等各类图。下面就拿配置统计图和柱状图为例，结合dashboard来说说如何配置。 选择柱状图 选择Nginx日志 时间的话根据自己需求选择，我这里
阅读全文
摘要：preface 上回说道了elk的安装以及kibana的简单搜索语法，还有logstash的input，output的语法，但是我们在使用中发现了一个问题，我们知道，elk是每一行为一个事件，像Java这类的输出日志，一个事件占用了好几行，导致elk在处理日志的时候，不能够识别多行日志为一个事件，所
阅读全文
摘要：preface 我们每天都要查看服务器的日志，一方面是为了开发的同事翻找日志，另一方面是巡检服务器查看日志，而随着服务器数量以及越来越多的业务上线，日志越来越多，人肉运维相当痛苦了，此时，参考现在非常流行的日志分析工具，搭建了一套ELK日志分析系统。下面就说说ELK，ELK安装过程以及如何使用。 了
阅读全文
摘要：转自 elk系列3之通过json格式采集Nginx日志 - 温柔易淡 - 博客园http://www.cnblogs.com/liaojiafa/p/6158245.html preface 公司采用的LNMP平台，跑着挺多nginx，所以可以利用elk好好分析nginx的日志。下面就聊聊它吧。 下
阅读全文
摘要：1.安装JDK 1)登陆ORACLE官网 (http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html )下载JDK 2)将jdk包放到目录/home/app下，执行解压命令 tar -xvf jdk-8
阅读全文
摘要：转自 离线部署ELK+kafka日志管理系统 - xiaoxiaozhou - 51CTO技术博客http://xiaoxiaozhou.blog.51cto.com/4681537/1854684 1、简介 对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticse
阅读全文
摘要：转自 Elasticsearch5.0 安装问题集锦 - 代码&优雅着&生活 - 博客园http://www.cnblogs.com/sloveling/p/elasticsearch.html elasticsearch 5.0 安装过程中遇到了一些问题，通过查找资料几乎都解决掉了，这里简单记录一
阅读全文
摘要：转自 高可用架构的6大常规方案 - 今日头条(www.toutiao.com)http://www.toutiao.com/i6428512247101784578/ 什么是高可用架构 在介绍高可用架构的方案之前，先说一下什么是高可用架构，高可用架构应具备但不限于以下特征： 主从切换 很好理解，当其
阅读全文
摘要：一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订t
阅读全文
