摘要：
Ranger介绍 针对Ranger与CDH平台的集成，需要通过编译ranger的源码，解决兼容性问题。当然，网上也有提供好的tar包，但是这种方式比较适合社区版本。对应的下载地址为: https://mirrors.tuna.tsinghua.edu.cn/apache/ranger/2.4.0/a 阅读全文
摘要：
注意：vCenter版本要高于ESXi版本，否则无法管控ESXI主机。vCenter版本要与服务器硬件适配，否则安装也会出错。 # 一、安装 1.1 下载 VMware-VCSA-all-7.0.3-21477706.iso 参考：https://www.dinghui.org/vmware-iso 阅读全文
摘要：
**本次采用虚拟机部署。** # 一、环境准备 1. VMware WorkStation 16环境安装准备完成 2. 软件包下载：VMware-VMvisor-Installer-7.0U3-18644231.x86_64.iso 常用软件包下载参考博客：https://www.dinghui.o 阅读全文
摘要：
问题现象 FE节点挂掉，在FE的日志里面有发现如下的异常，暂时不确定该异常是否会导致FE挂掉。 starrocks 版本：2.2.8 2023-02-25 11:07:29,742 WARN (starrocks-mysql-nio-pool-15540|1488653) [ReadListener 阅读全文
摘要：
1、现象 访问50070和8088端口需要输入用户名和密码 2、解决 调整参数： 在core-site.xml文件添加 dfs.web.authentication.simple.anonymous.allowed = true // 调不调应该都可以，我都调了 hadoop.http.authen 阅读全文
摘要：
主要用于排查异常。 方法1： 命令行设置： hadoop daemonlog -setlevel 192.168.1.10:50075 org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver DEBUG 方法2：web设置 http:/ 阅读全文
摘要：
一、介绍和安装 saltstack和ansible、puppet都是自动化运维工具。 1、saltstack 的几种使用方式 local minion/master (C/S) syndic (代理模式) SSH 2、架构 主机 角色 hadoop1 master、minion hadoop2 mi 阅读全文
摘要：
1、cachecloud应用审批完成以后没反应 这里已经审批处理了，但是没有显示通过按钮。 目前的cachecloud使用的是以前老版本。 2、后台查看日志 错误日志如下： 3、分析 上述异常通过查询资料说是新的ssh服务器不支持旧ssh版本所支持的算法。 目前cachecloud所使用的ganym 阅读全文
摘要：
1、启动chunckserver报元数据异常 在从新部署安装了master以后，重启chunckserver就报元数据id信息不一致，导致启动失败。 解决办法： 找到配置的所有chunck信息 依次删除该目录下的.metaid文件 然后重新启动 2、启动chunckserver报权限异常 hdd s 阅读全文
摘要：
1、安装软件包 yum install gcc make rpm-build fuse-devel zlib-devel libpcap-devel-y 2、下载moosefs wget http://ppa.moosefs.com/src/moosefs-3.0.115-1.tar.gz 3、构建 阅读全文
摘要：
本次操作使用root账号 操作系统版本：centos7.x 三台 安装依赖版本： mysql 5.7 java 1.8 maven 3.6 cachecloud 2.0 一、cachecloud 1、下载cachecloud软件包 git clone https://github.com/sohut 阅读全文
摘要：
环境介绍： OS： centos7.x slapd： 2.4.44 防火墙和selinux都已经关闭 所有的操作均在root用户下执行。 一、服务端搭建 1.1 安装软件包 yum -y install openldap compat-openldap openldap-clients openld 阅读全文
摘要：
1、配置core-site.xml文件 添加如下配置 <property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.AuthenticationFilterInitializer</ 阅读全文
摘要：
1、创建快照 # gluster snapshot create trobvol-s1 trobvol snapshot create: success: Snap trobvol-s1_GMT-2021.05.16-02.47.36 created successfully 说明： trobvol 阅读全文
摘要：
1、创建brick 在两台节点分别创建如下的目录： [root@hadoop4 ~]# mkdir /data/brick1/brick2 [root@hadoop4 ~]# mkdir /data/brick1/brick3 2、创建分布式副本卷 gluster volume create drv 阅读全文
摘要：
环境准备： 两台节点，两块磁盘。 操作系统：centos7 1、创建replica volume 接着上一步，把创建分布式卷的磁盘从新利用 [root@k8s-node2 brick]# gluster volume create rv0 replica 2 hadoop4:/data/brick1 阅读全文
摘要：
一、安装 1、配置yum源 操作系统是centos7.9版本 1.1 配置163yum源 http://mirrors.163.com/.help/CentOS7-Base-163.repo 1.2 配置存储yum源 # yum install centos-release-gluster 地址为： 阅读全文
摘要：
1、失败信息如下 [root@hadoop4 ~]# gluster peer probe k8s-node2 peer probe: failed: Probe returned with Transport endpoint is not connected 2、分析 出现这种原因可能是由于se 阅读全文
摘要：
1、报错信息 启动glusterfs文件系统报错，根据网上的排错，基本都是删除glusterfs的数据目录，然并卵。 报错如下： [root@k8s-node2 ~]# systemctl status glusterd.service ● glusterd.service - GlusterFS, 阅读全文
摘要：
利用IDEA反编译jar包(idea需要安装插件Java Bytecode Decomplier) 在需要编译的jar包的目录下，打开命令行界面，输入以下命令： java -cp "D:\soft\IntelliJ IDEA 2020.2.3\plugins\java-decompiler\lib\ 阅读全文
摘要：
1、问题现象 执行insert overwrite 时出现moveing异常 具体异常如下： 2、分析 目前对于分区表执行的是动态分区的插入方式，可以发现其中的分区字段值变成了_HIVE_DEFAULT_PARTITION_，通过查询资料，这是因为在原始表中的分区字段值有null或者''值时，在插入 阅读全文
摘要：
1、查看节点状态 oc get nodes 可以看到出现了节点不可用 2、查看节点详细的描述信息 oc describe node node_name 可以看到节点的状态未知，而处理节点信息的是kubelet进程，明显的异常就是 Kubelet stopped posting node status 阅读全文
摘要：
1、问题现象 openshift集群近期扩容，新增加了一批机器，在新添加完成以后，发先调度到这些节点的pod都失败了，查看具体的信息，发现是镜像拉取失败(拉取策略是always)，进一步分析是由于不能解析registry。 2、dns解析过程 在openshift里面，解析依赖于dnsmasq 服务 阅读全文
摘要：
本例不使用kerberos做认证，使用用户名和密码的方式来进行认证 1、服务端配置 1.0 配置server.properties 添加如下配置 #配置 ACL 入口类 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer #本例 阅读全文
摘要：
执行命令 [hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test --time -1 test:0:992786 test:1: 阅读全文
摘要：
一、依赖 首先配置maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka --> <dependency> <groupId>org.apache.flink</groupId> < 阅读全文
摘要：
一、下载软件包 这里下载2021年最新版本的1.12 官网下载地址：官网 其他镜像源： http://mirrors.hust.edu.cn/apache/flink/flink-1.12.1/ 官网下载比较慢 对于flink来说，部署方式有三种，分别是local、standalone、yarn c 阅读全文
摘要：
1、问题现象 clusterdown the cluster is down 三实列的redis集群,节点挂掉一台。 2、集群检查 ./redis-cli --cluster check 192.168.1.15:6379 -a 'xxx' 3、修复 ./redis-cli --cluster fi 阅读全文
摘要：
1、下载sarama go get github.com/Shopify/sarama 2、生产者 package main import ( "fmt" "github.com/Shopify/sarama" ) func main(){ fmt.Println("Producer start s 阅读全文
摘要：
一、普通方式 1、使用普通方式读取 package main import ( "fmt" "io" "log" "os" ) // 读取文件操作 // 读取文件使用的是os包 func ReadFileInfo(){ // func os.Open(name string) (*os.File, 阅读全文
摘要：
defer 对于go语言里面的defer关键字来说，是表示延迟调用，通常用于关闭一些资源，比如打开的文件资源，socket连接，同时也配合recover函数来处理panic的异常。 1、单个defer例子： func test1(){ fmt.Println("start") defer fmt.P 阅读全文
摘要：
一、夸平台编译 通常我们在Windows下编写的go代码，最终都需要在放到unix系统下面去执行的，但是在windows下使用go build\go install执行出来的二进制文件是带.exe的，那么如何编译成linux下的可执行文件呢？ 使用跨平台编译 1、设置变量 set CGO_ENABL 阅读全文
摘要：
1、安装code runner插件,根据箭头标示顺序,可以在右侧看到它支持的语言. 2、装完插件后,重启一下vscode,右键看到多了一个run code 3、出现如下错误： 该错误是因为代码没有保存导致，建议把所有的代码都保存在执行，有可能不是当前的代码没有导致。 4、设置自动保存 文件->自动保 阅读全文
摘要：
一、kafka配置jmx信息 1、修改kafka-run-class.sh 添加如下信息： -Djava.rmi.server.hostname=192.168.43.15 如下图： 2、修改kafka-server-start.sh 添加如下信息 export JMX_PORT="9999" 如下 阅读全文
摘要：
1、防止误删除数据 在hive里面经常执行insert overwrite语句，通常来说，没有执行完的话，默认不会覆盖目标表的数据。但是如果执行完了，目标表的数据就会被清理掉。 那么如何保护这些数据目录没有被清理掉，而是被移动到Hadoop的回收站里面了呢？ 这里需要使用到hive的如下参数 hiv 阅读全文
摘要：
一、下载安装 1、GitHub地址 https://github.com/didi/Logi-KafkaManager 2、解压 下载的如果是发布版本，那么可以直接解压使用，如果下载的是源码，那么需要编译。 这里演示release版本的。 需要依赖到数据库，所以最好先安装好MySQL 安装手册 ht 阅读全文
摘要：
一、下载安装 1、下载地址： http://download.kafka-eagle.org/ 文档 http://www.kafka-eagle.org/articles/docs/introduce/what-is-kafka-eagle.html # wget https://github.c 阅读全文
摘要：
一、TinyLog 1.1 最简单的表引擎，用于将数据存储在磁盘上。每列都存储在单独的压缩文件中。写入时，数据将附加到文件末尾。 特点： 1）、用于处理小表， 2）、不支持索引 3）、一次写，多次读 1.2 简单使用 hadoop4 :) create table t1(name String,ag 阅读全文
摘要：
一、下载软件包 官网链接：https://clickhouse.tech/#quick-start rpm包链接：https://packagecloud.io/altinity/clickhouse 主要下载如下几个软件包 clickhouse-server-common clickhouse-s 阅读全文
摘要：
1、异常现象 2、解决办法 在mysqldump后面添加 --skip-table-tables 阅读全文