随笔分类 -  Devops

摘要:目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升,日志存储要求越来越大,写入IO越来越高,需要对整个日志系统进行升级,使用ES作为存储引擎的成本也越来越高,需要一个针对日志场景,更高性价比的存 阅读全文
posted @ 2024-01-04 16:18 zscbest 阅读(1638) 评论(0) 推荐(1) 编辑
摘要:背景 最近在做日志平台准备使用ClickHouse替换Elasticsearch作为日志的存储引擎的落地,所以需要部署Kibana之类的软件进行日志可视化,我们选择ClickVisual进行展示,ClickVisual整体并不复杂,支持二进制文件执行等形式,这里对于部署过程中遇到的问题进行记录。 资 阅读全文
posted @ 2023-11-10 17:09 zscbest 阅读(350) 评论(0) 推荐(0) 编辑
摘要:背景 运维同学通过网关平台下发nginx配置文件,下发的过程是先灰度发布,发灰度机器,然后需要验证域名的请求是否正常,然后在下发其他生产机器,但是验证过程是人为操作,这就不可避免的会有些同学不进行验证,点击“继续”发布,如果出现问题将是灾难性的(别问为什么是灾难性的)。 为了避免这个问题的出现,发布 阅读全文
posted @ 2022-12-22 21:45 zscbest 阅读(1639) 评论(0) 推荐(1) 编辑
摘要:部署与安装 envoy的部署方式基本上是三种,最常用的docker形式,其次可以根据不用操作系统进行命令行安装(centos使用yum),最后可以自己手动进行编译 因为想单纯探索envoy的使用形式,则直接进行使用第二种方式进行安装 yum安装方式: sudo yum install yum-uti 阅读全文
posted @ 2022-11-17 10:51 zscbest 阅读(635) 评论(0) 推荐(0) 编辑
摘要:相关issue https://github.com/openresty/lua-nginx-module/issues/1115 网关采用nginx + lua 进行的功能扩展,在lua中使用ngx.var.proxy_add_x_forwarded_for获取不到值 查看该issue应该是跟版本 阅读全文
posted @ 2022-07-07 10:20 zscbest 阅读(562) 评论(0) 推荐(0) 编辑
摘要:背景 前置网关采用的是ngx中调用lua代码块的形式实现的功能扩展。 在网关开发过程中有很多的waf功能,比较常见就包括黑白名单的功能。为了批量的对某个IP段进行屏蔽,在配置时可能会以CIDR的形式配置IP段 结合lua代码进行处理 计算思路 我们查看某个IP是否在某个用CIDR表示的IP段时,只需 阅读全文
posted @ 2022-06-28 21:38 zscbest 阅读(436) 评论(0) 推荐(0) 编辑
摘要:最近在研究云原生,使用Kubernete搭建了一个Jenkins平台,准备用其构建简单的Demo,根据网上的教程会有报错。 可能是Jenkins镜像版本的问题,这里先记录一下 报错1: Exec Failure: HTTP 403, Status: 403 - events is forbidden 阅读全文
posted @ 2021-08-04 16:34 zscbest 阅读(394) 评论(0) 推荐(0) 编辑
摘要:背景: 我们的日志是json类型,但是在写入ES时变成一个message 字段string,这种将所有日志写在一个string 类型时不利于分字段进行查找,并且没发用kibana 平台使用ES的聚合分析功能。 由于业务的不同,打印的字段比较随意,而写入ES中的key最大值要求1000,这样又不能把日 阅读全文
posted @ 2020-12-02 16:03 zscbest 阅读(1454) 评论(0) 推荐(1) 编辑
摘要:背景: 公司在做自己的发布平台,需要自动化编译go 工程,大部分开发使用的都是go 1.12 版本 由于go mod的机制,有很多包需要代理才能进行下载,而自动化编译频繁的进行代理切换就很麻烦。 所以线上自动编译采用go 1.13 编译 go 1.13 编译的特点:https://zhuanlan. 阅读全文
posted @ 2019-12-22 16:54 zscbest 阅读(2434) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示