威胁感知-数据分析常用组件

蜜罐

Web服务蜜罐 Glastopf
SSH蜜罐Kippo
RDP蜜罐RDPY
主动欺骗蜜罐Beeswarm（主要针对监听网络流量的场景）
Elastcisearch服务蜜罐Elasticpot
Modern Honey Network集成了多种蜜罐

蜜罐联动：
联动WAF，如果蜜罐触发，WAF封禁IP

流量分析

处理小流量网络流量分析 libpcap 小于10M
大流量1G PF_RING
大流量Intel Data Plane Development Kit

Bro开源流量分析器，对所有深层次可以行为流量安全监控www.bro.org

数据分析-实时分析

Storm 开源分布式、可容错、可扩展、高可靠的实时流处理框架，支持多种编程语言
Spout：产生数据源、bolt消息处理、topology网络拓扑、tuple元组
Topology提交运行的程序，处理的最小消息单位为一个tuple，topology由spout和bolt构成，spout时发出tuple的节点，bolt可以随意订阅某个spout或bolt发出的tuple，spout和bolt被统称为component

Spark Streaming时Spark核心API的扩展，可实现高吞吐量、具备容错机制的实时流数据处理。支持从Kafka、Flume、Teitter、ZeroMQ、Kinesis和TCP sockets获取数据。可处理后将结果存储到文件系统HDFS、数据库和Dashboard。支持流和批计算。把流转化为小批次

Flink数据处理方式和Storm类似，支持流式和批计算，处理主要场景是流数据。把任务当作流处理。

Hadoop ：HDFS分布式文件系统
Hbase ：分布式存储系统
Spark：大数据计算
通常架构：数据->Logstash->kafka->storm->ES/HDFS

SOC

开源SOC：OSSIM、OpenSOC（框架，支持原始网络流量、Netflow、Syslog等，已加入Apache为Metron）、

数据库审计

开源数据库Mysql主机端审计：mysql-audit
开源数据库流量审计Mysql Sniffer
开源数据库防火墙DBProxy