parseable datadog &splunk& elk 可选开源方案

parseable 是基于rust 编写的datadog &splunk& elk 可选开源方案，提供了方便的rest api 能力

支持的特性

• 云原生（无状态）
• 开放模式 （基于parquet）
• 简单数据访问（/基于sql 兼容的api）
• 部署简单，内置ui 进行日志查看以及可视化
• alert 报警（目前核心是webhook模式的）

使用的技术栈

• datafusion（数据查询引擎基于了apache arrow ）
• 对象存储（进行数据存储）
• parquet （数据存储格式）
• actix-web rust 强大快速的web 框架
• clokwerk rust 简单任务调度框架

参考架构

 

 

参考资料

https://arrow.apache.org/datafusion/user-guide/introduction.html
https://www.parseable.io/
https://github.com/parseablehq/parseable
https://github.com/actix/actix-web
https://actix.rs/
https://github.com/apache/arrow-datafusion
https://github.com/mdsherry/clokwerk