随笔分类 - 日志平台
摘要:目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升,日志存储要求越来越大,写入IO越来越高,需要对整个日志系统进行升级,使用ES作为存储引擎的成本也越来越高,需要一个针对日志场景,更高性价比的存
阅读全文
摘要:背景 公司的海外业务需要将云上的操作读取到内部的日志文件中,永久保存,供内部审计使用。 由于之前没有用过AWS相关的SDK,在使用过程中也遇到一些困难,这里记录一下,并且总结一下过程。 代码 快速开始 代码参考地址:https://github.com/awsdocs/aws-doc-sdk-exa
阅读全文
摘要:背景 最近在做日志平台准备使用ClickHouse替换Elasticsearch作为日志的存储引擎的落地,所以需要部署Kibana之类的软件进行日志可视化,我们选择ClickVisual进行展示,ClickVisual整体并不复杂,支持二进制文件执行等形式,这里对于部署过程中遇到的问题进行记录。 资
阅读全文