潇湘神剑

摘要： 问题描述：flume每到半夜总是一直报错，关闭某个文件失败，虽然不影响其他日志传输，但是一直有错误日志也很难受，有一种如芒在背的感觉。 部分报错日志： 09 六月 2023 02:55:55,730 INFO [SinkRunner-PollingRunner-DefaultSinkProcesso 阅读全文

摘要： 公司测试环境是k8s，研发发布项目都是通过jenkins发布的，由于打包机器常年不清理没用的镜像以及缓存，导致docker镜像文件以及缓存文件将磁盘打满了，/var/lib/docker/overlay2目录将100G的磁盘直接干满了。现将清理过程记录如下： 先将机器上所有镜像都干掉 for i i 阅读全文

摘要： 1、flume官网 https://flume.apache.org/ 2、安装kerberos客户端 由于我在hdfs开启了kerberos认证，所以要先装kerberos客户端： yum install krb5-devel krb5-workstation -y再将kerberos serve 阅读全文

摘要： 1、Hadoop单节点部署 部署过程看官方文档即可 https://hadoop.apache.org/ 为增加执行命令的便利性，添加hadoop的环境变量： vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/local/hadoop-3.3. 阅读全文

摘要： 一、部署Kerberos服务端 Kerberos（也称为“GSSAPI”）是一种身份验证协议，用于在分布式计算环境中提供安全的身份验证和授权服务。它是由MIT开发的，并于1987年首次发布。Kerberos是一种基于X.509的认证协议，它使用TGS（Ticket Granting Service） 阅读全文

摘要： 一、环境配置 1、主机配置 cdh-master 192.168.80.107 CPU4核 内存16G 磁盘200G cdh-node1 192.168.80.140 CPU4核 内存8G 磁盘200G cdh-node2 192.168.80.148 CPU4核 内存8G 磁盘200G数据库 19 阅读全文

摘要： 2023年3月6日，对于我注定是不平凡的一天，来到公司，悠闲的吃完早餐，打开电脑例行巡检，发现公司内网jenkins服务器、k8s集群、ES服务器CPU利用率直接拉满，top命令看不到任何异常，服务器重启也不起作用，甚至去了机房拆机检查，也不是没有收获，检查出一台服务器的内存条坏了一根。在没有排查除 阅读全文

摘要： 一、定义数组 数组名=(元素1 元素2 元素3)Bash Shell只支持一维数组，不支持多维数组。 二、打印数组 echo ${name[*]} # "显示所有数组的元素" echo ${name[@]} # "显示所有数组的元素" echo ${name[0]} # "显示下标为0的元素，默认从 阅读全文

摘要： 新买的树莓派4b，烧录好系统之后发现时间是GMT(格林尼治)时间，就需要修改成东八区北京时间。修改方法如下 sudo dpkg-reconfigure tzdata 阅读全文

摘要： classmethod 1、在类定义中，使用@classmethod装饰器修饰的方法； 2、必须至少有一个参数，且第一个参数留给了cls，cls指代调用者即类对象自身； 3、cls这个标识符可以是任意合法名称，但是为了易读，不要修改； 4、通过cls可以直接操作类的属性；但是无法通过cls操作类的实 阅读全文