随笔分类 - 系统|运维
摘要：背景 提高研发装包构建基础镜像的速度，特搭建此 pypi 私有源 搭建流程，使用k8s 方式来部署集群 Dockerfile (官方python:3.9-slim 基础镜像即可，CMD命令即是无账号密码访问私有源) FROM uhub.service.ucloud.cn/deeplang/pytho
阅读全文
摘要：需求 满足产品数据团队计算相关需求，搭建spark集群，本集群为一主两从(两台设备) 部署环境 服务器资源 docker-compose 安装 curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-comp
阅读全文
摘要：需求 DTS传输同步数据的需求，需要将mongodb里的数据更新、数据增加操作同步给FC函数 MongoDB中的Oplog（操作日志）是一个特殊的集合，用于记录数据库的所有操作。Oplog是MongoDB复制集中的一个重要组成部分，它允许从节点通过读取Oplog来实现与主节点的数据同步。所以要把单实
阅读全文
摘要：背景 k8s 集群对应的公网 slb ip 经常被人绑定域名，监控侧经常会收集到 502 相关状态码的异常告警，着手处理这种bad case 策略 1. 所有没有在ingress 配置过的域名要进行处理，即不是公司的、非法绑定到slb 上的域名要加上一条策略 2. NGINX Ingress Con
阅读全文
摘要：需求 每天定时发送grafana dashboard截图至飞书群，每天获取前一天的算力服务器使用率趋势图 环境 docker 环境 # 搭建docker环境、配置grafana #cat docker-compose.yaml version: '3.5' services: grafana: im
阅读全文
摘要：下载nodejs包并并运行报错 export PATH=/opt/node-v20.9.0-linux-x64/bin/:$PATH [12:01:51 root@dev-test-lingowhale-app opt]#node -v node: /lib64/libm.so.6: version
阅读全文
摘要：需求 将尾号ip为 0或者 为具体ip 的真实用户转发至其他云服务上 架构 阿里云slb--> k8s nginx ingress --> nginx pod （以下nginx 配置为nginx pod里的转发配置） nginx ip分流 （以ip尾号为0或者1 的客户端ip进行分流） root /
阅读全文
摘要：突破ulimit 限制 修改普通用户单个用户可同时运行的最大进程数 （默认为 4096 ） [root@xxx devops]# cat /etc/security/limits.d/20-nproc.conf # Default limit for number of user's process
阅读全文
摘要：### filebeat 配置nginx 日志采集 - filebeat 采集需求 ``` 1.需要将以往30 天的日志输出到es，并且以时间按天展示 2.将不同的时间字段解析出来，输出到es ``` - nginx 配置json 日志 ``` log_format log_json '{ "rem
阅读全文
摘要：### 防止恶意ip绑定至服务器公网ip地址 ``` server { listen 80 default; listen 8088 default; server_name _; return 403; } ```
阅读全文
摘要：### 迁移记录 - 需求 ``` A账号和B账号是不同的阿里云认证主体，要求A账号下的资源要迁移到B 账号下，方便统一管理。 A账号资源vpc: 10.0.0.0/8 B账号资源vpc: 172.16.0.0/12 A账号和B账号已做了vpc对等连接。 ``` - 操作步骤 ``` 1.A账号:
阅读全文
摘要：### 准备基本环境 服务器node1(10.0.3.1)|服务器node2(10.0.3.2)|服务器node3(10.0.3.3) --|:--:|:-- mongos 20000 | mongos 20000 | mongos 20000 config server 21000 |config
阅读全文
摘要：### 准备基本环境 名称|ip地址|cpu|内存|es监听端口 --|:--:|:--|:--|:-- redis-651|10.0.2.1|8c|64G|9200 redis-652|10.0.2.2|8c|64G|9200 redis-653|10.0.2.3|8c|64G|9200 ###
阅读全文
摘要：- elastcisearch 生命周期策略 ``` PUT _ilm/policy/deeplang-logger-policy { "policy" : { "phases" : { "warm" : { "min_age" : "7d", "actions" : { "allocate" :
阅读全文
摘要：### 飞书邮箱报警设置 - vi /etc/mail.rc ``` set ssl-verify=ignore set nss-config-dir=/etc/pki/nssdb set from=xxxx@yyy.ai set smtp=smtps://smtp.feishu.cn:465 se
阅读全文
摘要：### 分区 ``` linux 默认是 MBR分区，最多四个主分区 一种是GUID（GPT）分区，GUID(GPT)最多支持128个主分区，没有扩展分区和逻辑盘，支持2.2T容量以上的硬盘分区 ``` ### 需求是每个用户 200GB 分区挂载 ``` [root@lexun20 ~]# lsb
阅读全文
摘要：### 权限设置 - 需求： 所有除 root 用户外的普通用户拥有对指定数据目录的所有权限 - 方式一: - 模拟 ``` # 创建两个用户 useradd test1 useradd test2 # 创建指定数据目录 mkdir /export/yp # setfacl 设置权限 setfacl
阅读全文
摘要：背景 业务稳定性要求需要一套redis集群来保障 因此采用 redis cluster 集群 环境 名称|ip地址|cpu|内存|master端口|slave端口 --|:--:|:--|:--|:--|:-- redis-651|10.65.6.51|4c|8G|7001|7002 redis-6
阅读全文
摘要：环境 10.1.100.10:70 是后端websocket 服务 需要通过nginx 向后端转发,nginx 配置文件如下 # cat test-ue4.conf map $http_upgrade $connection_upgrade { default upgrade; '' close;
阅读全文
摘要：环境 已安装nvidia 显卡 驱动 操作系统:CentOS Linux release 7.9.2009 (Core) 内核版本:Linux 5.4.135-1.el7.elrepo.x86_64 显卡 型号:rtx 6000 kvm版本: virsh version Compiled again
阅读全文