ELK学习实验010：Logstash简介

Logstash是具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化为您选择的目标。清除所有数据并使其民主化，以用于各种高级下游分析和可视化用例。

虽然Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过各种各样的输入，过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了提取过程。

一 logstash的数据内容

1.1 日志和指标数据

• 处理所有类型的日志数据

  • 轻松获取大量Web日志（如Apache）和应用程序日志（如log4j for Java）
  • 捕获许多其他日志格式，例如syslog，网络和防火墙日志等
• 通过Filebeat享受补充的安全日志转发功能
• 通过TCP和UDP从Ganglia，collectd， NetFlow，JMX以及许多其他基础结构和应用程序平台收集度量

1.2 网络数据

• 将HTTP请求转换为事件

  • 从Twitter之类的网络服务中消费，以进行社会情感分析
  • Webhook对GitHub，HipChat，JIRA和无数其他应用程序的支持
  • 启用许多Watcher警报用例

• 通过按需轮询HTTP端点来创建事件

  • 从Web应用程序界面通用捕获运行状况，性能，指标和其他类型的数据
  • 非常适合优先选择轮询控制而不是接收的方案

1.3 数据存储和流

• 使用JDBC接口可以更好地了解来自任何关系数据库或NoSQL存储的 数据
• 统一来自Apache Kafka， RabbitMQ和Amazon SQS等消息队列的各种数据流

1.4 传感器和物联网

• 在这个技术进步的时代，庞大的物联网世界通过捕获和利用来自连接传感器的数据来释放无尽的用例。
• Logstash是常见事件收集主干，用于提取从移动设备传送到智能家居，联网车辆，医疗保健传感器和许多其他特定于行业的应用程序的数据。

1.5 处理转换数据

• Grok是Logstash过滤器的基础，广泛用于从非结构化数据中导出结构。享受多种旨在帮助快速解决Web，系统，网络和其他类型事件格式的集成模式。
• 通过从IP地址解密地理坐标，标准化 日期复杂性，简化键值对和 CSV数据，对敏感信息进行指纹识别（匿名化），以及通过本地查找或Elasticsearch 查询进一步丰富数据，来扩展您的视野。
• 编解码器通常用于简化对常见事件结构（如JSON 和多行事件）的处理。

二 用途

集中、转换和存储数据

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到“存储库”中。

2.1 输入、过滤器和输出

Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式，或分散或集中地存在于很多系统中。 Logstash 支持 各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

 

 

过滤器：实时转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化，完全排除敏感字段
• 简化整体处理，不受数据源、格式或架构的影响

 

输出：选择存储库导出数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

 

同时拥有非常丰富的插件，进行扩展功能

2.2 构建可信的交付管道

假如 Logstash 节点发生故障，Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力，现在您无需采用额外的队列层，Logstash 就能平稳度过高峰期。此外，我们还能让您充分确保自己采集管道的安全性。

Logstash 模块通过热门的数据源（如 ArcSight 和 Netflow ）呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板，您在短短几分钟内便可开始数据探索。

全方位监察

Logstash 管道通常服务于多种用途，会变得非常复杂，因此充分了解管道性能、可用性和瓶颈异常重要。借助监测和管道查看器功能，您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。