ELK学习笔记之F5利用ELK进行应用数据挖掘系列(1)-HTTP

0x00 概述

F5 BIGIP从应用角度位于网络结构的关键咽喉位置，可获取所有应用的流量，针对流量执行L7层处理，即便是TLS加密的流量也可以通过F5进行SSL offload。通过F5可以统一获取所有应用的请求元数据，而不用关心应用是部署在何种系统架构中，这可以大大简化针对不同应用系统进行应用性能分析、日志采集工作。BIGIP TMOS系统提供了多种方法帮助实现统一信息收集，包括：

HTTP Request logging profile
DNS logging profile
Avr
iRule HSL
System logging HSL

支持高速信息输出而无需过分担心性能下降。

ELK是一个功能强大的集数据收集、存储、分析、索引、可视化的开源套件，支持多种数据结构输入输出。

本文是系列文章的第一篇，描述如何利用F5 LTM HTTP request logging 功能与ELK进行整合，进行HTTP 应用性能透视与分析。通过数据分析，可以进行诸如：

HTTP请求类型分布
URL访问排名
同一资源池中各个服务器的http响应延迟
单URL的响应延迟
访问总请求数
URL或服务器延迟趋势
URL或服务器最大最小延迟
响应大小分布
HTTP协议版本分布
访问者地理位置跟踪
HTTP 响应代码分布及趋势
HTTP响应错误率统计
L4连接数
API请求调用延迟
重API分布
API失败率分析
请求线路分布
。。。。

通过持续获取应性能信息数据，建立应用性能基线。当应用流量突增时，可直观发现突发流量来自于哪里，分布在哪些链路，哪些请求属于热点请求，应用响应延迟变化，趋势，URL/API拥堵情况，服务器性能状态。以及快速增长的URL之间是否存在业务上的前后逻辑，进而可以帮助判别是否为自动化的L7 DDOS等。

0x01 架构原理

F5 LTM通过配置 request logging profile模板输出HTTP请求与响应有关的数据，数据通过F5的High speed logging（HSL)功能直接输出到logstash监听的TCP端口上，Logstash通过使用Grok filter对原始数据进行规则过滤，格式化后的数据输出到elasticsearch服务器，通过kibana程序进行数据整理、可视化输出，下图描述了各功能组件间关系。