08 2022 档案

【Linux】日常运维技能手册（持续更新）
摘要：一些实用的运维及甩锅小技巧 阅读全文
posted @ 2022-08-29 10:57 风灵动铭 阅读(884) 评论(0) 推荐(0) 编辑
【HDFS】JN回滚大量edit日志导致Namenode主备切换的故障记录
摘要：JN回滚大量edit日志导致Namenode主备切换的故障记录 前言正文问题排查调度服务状态HDFS服务状态 问题分析Name... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(472) 评论(0) 推荐(0) 编辑
【Ambari】用Python写一个Ambari的运维工具（一）
摘要：用Python写一个Ambari的运维工具（一） 前言正文准备工作功能拆解库的使用 写代码咯配置文件加载建立交互终端好看的欢迎... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(207) 评论(0) 推荐(0) 编辑
【PERL】内网环境使用Killcx关闭指定TCP连接
摘要：前言 近日在生产环境我们要进行调度服务迁移，几天的夜间工作中，多次遇到一个业务逻辑导致的问题：在调度重启的过程中，会通过Yarn的资... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(224) 评论(0) 推荐(0) 编辑
【HDFS】记一次由JN性能瓶颈导致的NN频繁宕机异常
摘要：记一次由JN性能瓶颈导致的NN频繁宕机异常 前言正文问题排查Ambari页面NN日志排查GC日志排查JN日志排查复现准备 问题... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(429) 评论(0) 推荐(0) 编辑
【Prometheus】Prometheus联邦的一次优化记录[续]
摘要：Prometheus联邦的一次优化记录[续] 前言正文服务器规划分析过程分组摄取 小结 前言 之前有整理过一次Prometheu... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(273) 评论(0) 推荐(0) 编辑
【LDAP】在Centos7环境搭建LDAP服务端
摘要：在Centos7环境搭建LDAP服务端 前言正文OpenLDAP介绍LDIF文件书写规则OpenLDAP部署安装服务配置ldap修... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(2002) 评论(0) 推荐(0) 编辑
Nginx配置https访问
摘要：Nginx配置https访问 证书生成生成server key创建签名请求创建签名证书 配置nginx 证书生成 生成serve... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(188) 评论(0) 推荐(0) 编辑
Centos7.6升级openssh8.6操作步骤
摘要：Centos7.6升级openssh8.6操作步骤 概述正文软件准备上传软件解压缩软件 开启Telnet安装软件服务配置及启动... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(678) 评论(0) 推荐(0) 编辑
【Grafana】Grafana Mimir在海量时间序列指标中的优化
摘要：Grafana Mimir在海量时间序列指标中的优化 前言正文指标采集的挑战大量数据的产生块压缩缓慢TSDB的限制 Mimir... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(239) 评论(0) 推荐(0) 编辑
【Prometheus】Prometheus联邦的一次优化记录
摘要：Prometheus联邦的一次优化记录 前言正文重新规整labels无用指标筛选 前言 现网环境下，我的Prometheus是使... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(161) 评论(0) 推荐(0) 编辑
【HBASE】记一次HBase进行数据迁移，重建元数据
摘要：记一次HBase进行数据迁移，重建元数据 前情提要正文数据迁移重建元数据测试查询 后续的表修复Multiple regions ... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(275) 评论(0) 推荐(0) 编辑
Ansible API 2.10.5 运行pb产出报表的过程记录
摘要：Ansible API 2.10.5 运行pb产出报表的过程记录 前言正文版本准备搭建开发环境API核心类的介绍捕捉PB回显结果借... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(55) 评论(0) 推荐(0) 编辑
【GO】读写文件遇到的不同操作系统的问题
摘要：读写文件遇到的不同操作系统的问题 前言正文SCP使用实例安装scp用到的库建立ssh客户端连接SCP上传和下载调用实例 文件写... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(64) 评论(0) 推荐(0) 编辑
【安全】Goby使用初探
摘要：Goby使用初探 基础配置语言设置npcap安装 使用记录端口扫描 基础配置 语言设置 这里使用的环境是Windows10 6... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(638) 评论(0) 推荐(0) 编辑
【Django】使用信号机制保证Model的字段规则
摘要：使用信号机制保证Model的字段规则 需求描述实现方式 需求描述 最近在写Django DRM，我这里有一个Model，是记录节点... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(13) 评论(0) 推荐(0) 编辑
Prometheus学习记录【二】
摘要：Prometheus学习记录【二】 1 写在前面1.1 书接上回1.2 本节内容 2 正文2.1 node_exporter2.... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(122) 评论(0) 推荐(0) 编辑
Prometheus学习记录【一】
摘要：Prometheus学习记录【一】 1 写在前面1.1 缘起何处？1.2 现有技能1.3 学习目标 2 正文2.1 从了解监控开... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(37) 评论(0) 推荐(0) 编辑
关于HDFS Balancer的一些小技巧
摘要：关于HDFS Balancer的一些小技巧 前言正文原因分析Balancer工具做均衡带宽设置限定均衡范围参数调优 结语 前... 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(579) 评论(0) 推荐(0) 编辑
【HDFS】一次Namenode的RPC延迟故障排查引发的深入思考
摘要：一次Namenode的RPC延迟故障排查引发的深入思考 前言正文问题排查初步定位临时恢复定位可疑进程 问题分析问题脚本分析 问题原因分析代码分析测试代码prometheus_client分析测试代码 前言 12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上， 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(877) 评论(0) 推荐(0) 编辑
【Postgresql】PgAgent源码安装
摘要：PgAgent源码安装 软件清单操作步骤安装cmake安装wxWidgets安装pgAgent 软件清单 软件的版本如下，因为如果版本不一样的话，好像会出现奇怪的问题： -rw-r--r--. 1 root root 34950376 Mar 3 16:44 cmake-3.12.2-Linux-x 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(244) 评论(0) 推荐(0) 编辑
【Postgresql】PG12数据库更改数据目录
摘要：PG12数据库更改数据目录 修改启动文件重载服务配置初始化数据库 修改启动文件 此处默认使用RPM包将PG安装完成，默认会在/usr/lib/systemd/system/下创建一个postgresql.service文件，文件内容如下： # It's not recommended to modi 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(232) 评论(0) 推荐(0) 编辑
【YARN】Yarn跟踪容器内存的开关
摘要：Yarn跟踪容器内存的开关 前言正文版本问题拓展知识 结语 前言 之前使用的YARN环境，在查看NodeManger日志的时候能够看到容器内存使用情况的信息，类似这样的日志： 2022-01-13 09:51:49,585 INFO org.apache.hadoop.yarn.server.nod 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(150) 评论(0) 推荐(0) 编辑
【HUE】HUE4.10编译打包
摘要：HUE编译打包 环境准备编译安装安装依赖安装Python3 开始编译node安装SQLite3版本过低 环境准备 python3环境(非必须)githue源码包 编译安装 安装依赖 根据官方的建议命令进行依赖的安装 yum -y install libffi-devel gcc-c++ ant as 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(449) 评论(0) 推荐(0) 编辑
【HDFS】删了HDFS又能怎样？记一次删库不跑路事件[转]
摘要：删了HDFS又能怎样？记一次删库不跑路事件[转]） 一、事发背景二、应急措施直观的方案 三、分析过程hdfs文件删除过程EditLog hdfs元数据的加载方案确定 四、灾难重演反解析更改后的xml文件成editlog重命名掉之前的editlog替换反解析后的editlog 五、经验总结 一、事发背 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(331) 评论(0) 推荐(0) 编辑
【SQOOP】记一次使用SQOOP抽数到Hive遇到的问题
摘要：记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库，beeline为1.1.0 3.Hive建表时使用了分桶，并且加入了stored as orc参数，之前这么创建是为了能够实现delete等操作 处理过程 最初想要在Sqoop中使用hca 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(556) 评论(0) 推荐(0) 编辑
【Ambari】Ambari集成Prometheus-打包软件
摘要：Ambari集成Prometheus-打包软件 目录结构bin目录conf目录sbin目录环境设置脚本prometheus-env.sh启动脚本prometheus.sh SPEC文件编写 目录结构 集成自定义的服务，首先要准备好服务的rpm安装包，Prometheus官方本身发布的就是开箱即用的二 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(276) 评论(0) 推荐(0) 编辑
【Loki】Loki配置采集haproxy日志
摘要：Loki配置采集haproxy日志 前言正文haproxy格式化日志Loki配置日志采集 结语 前言 haproxy作为一个负载均衡器，能够有效的分摊应用的访问负载，一定程度上帮助应用避免单点风险，有时候，会有从haproxy日志中分析数据的需求。 当前的一个环境中，通过haproxy作为后端查询接 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(892) 评论(2) 推荐(0) 编辑
【Loki】Grafana Loki日志采集初探
摘要：Grafana Loki日志采集初探 1. 基本介绍1.1 工作概述1.2 基本特性1.3 架构介绍1.3.1 多租户设计1.3.2 工作模式1.3.2.1 Monolithic mode1.3.2.2 Simple scalable deployment mode1.3.2.3 Microserv 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(1022) 评论(0) 推荐(0) 编辑
【HDFS】NameNode格式化——组件恢复，数据丢失
摘要：NameNode格式化——组件恢复，数据丢失 前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务 格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode 恢复依赖服务 小结 前情提要 近段时间测试 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(572) 评论(0) 推荐(0) 编辑
【Django】DRF开发中的一些技巧记录
摘要：问题记录 问题1：信号没有按预期触发 描述 编写了信号函数后，并没有如预期一般在必要时候触发，函数如下： @receiver(signals.post_save, sender=Prometheus) def monitor_prometheus_update(instance, **kwargs) 阅读全文
posted @ 2022-08-25 17:42 风灵动铭 阅读(525) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示