摘要：
failed to register layer: devmapper:Thin Pool has 207894 free data blocks which is less than minimum required 320123 free data blocks. Create more fre 阅读全文
摘要：
一、数据迁移流程 目前没有采用官方给定的命令来进行数据迁移，而是使用创建表+copy数据的方式。 二、具体的流程如下 1、从需要被迁移的hive数据库里面把表的执行语句获取出来； 2、修改需要修改的信息(比如名称空间)； 3、在目标集群的hive里面执行创建表语句； 4、使用distcp拷贝源hiv 阅读全文
摘要：
1、yarn错误信息 org.apache.hadoop.security.AccessControlException: Queue root.idd already has 0 applications, cannot accept submission of application - HDP 阅读全文
摘要：
1、 异常信息 org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the pa 阅读全文
摘要：
1、hbase.hstore.flusher.count 默认值：1 用于启动flusher的实例，flush memstore 2、hbase.hregion.max.filesize 默认值： region的大小，超过该值，region将会split 3、hbase.hregion.memsto 阅读全文
摘要：
1、现有测试数据如下： cat a.txt hadoop1 1 hadoop2 2 hadoop3 3 2、期望的格式 hadoop1: 1 hadoop2: 2 hadoop3: 3 3、使用awk awk '{if(NR%2!=0)ORS=":";else ORS="\n"}1' a.txt | 阅读全文
摘要：
一、安装相应的软件 1、安装java（略） 2、安装scala（略） 3、安装gradle (1)、下载地址： https://gradle.org/releases/ (2)、配置环境变量 (3)、验证 二、下载kafka源码 http://archive.apache.org/dist/kafk 阅读全文
摘要：
ldapsearch -x -D 'cn=admin,dc=xxx,dc=com' -W -b "dc=xxx,dc=com" 阅读全文
摘要：
一、问题描述 查询的语句类似如下： select * from table_name where xxx='yyy' limit 10; 当前的hive表存储格式是orc格式，执行引擎是tez，并行度也已经调整到几十了，但是在执行这个sql的时候，发现一直卡住，执行不成功。 二、问题现象 and 分 阅读全文
摘要：
【摘要】 Too many open files有四种可能:一 单个进程打开文件句柄数过多,二 操作系统打开的文件句柄数过多,三 systemd对该进程进行了限制,四 inotify达到上限. 一 单个进程打开文件句柄数过多 ulimit中的nofile表示单进程可以打开的最大文件句柄数，可以通过u 阅读全文
摘要：
1、krb5.conf 默认情况下，kinit使用的是/etc/krb5.conf文件 如何使用特定的krb5.conf文件呢，可以通过设置环境变量KRB5_CONFIG： export KRB5_CONFIG=/home/hduser/krb5.conf 2、phoenix 如何使用带有Kerbe 阅读全文
摘要：
一、部署环境 1、版本 redis 6.9 2、实例 3 master 3 slave | 主机 | 角色 | IP：端口 | | | | | | Hadoop1 | master/slave | 192.168.43.2:6380 /192.168.43.2:6379 | | Hadoop2 | 阅读全文
摘要：
一、错误现象 在执行hive sql的时候，出现如下错误： 二、错误的原因很分析 hive的数据存储使用的是EC，然而ec在hdfs的3.1.x版本上面有bug，所以就出现了上述的问题。但是这个bug已经在后续的版本上面修复了。如下图： 具体的官方issue： | https://issues.ap 阅读全文
摘要：
一、 创建工程或者模块 如果已经存在工程，那么可以在当前工程下创建模块。 如果不存在工程，可以直接创建一个工程。 1.1 创建maven模块 由于已经存在一个相同的模块，我这里标红了。 1.2 修改pom文件 <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文
摘要：
1、异常信息 trying to load more than 2048 hfiles to family 2、分析 在做hbase数据迁移的时候，源hbase集群的某张表hfile文件数超过了2048，由于在配置文件里面配置的值刚好为2048，导致加载的时候，失败。 3、解决 修改hbase配置文 阅读全文
摘要：
1.1 现象 通过hbase shell disable表，显示表以及关闭，但是使用drop table_name，却显示表状态为disableing，不能正常被删除。 1.2 分析 1）通过以下命令查看表状态： hbase> is_disabled table_name false hbase> 阅读全文
摘要：
1、异常信息 使用hbase shell修改hbase表或者创建表的时候，报如下信息： 从上面的异常可以看出，该create语句执行了600多秒，导致异常发生 2、解决 在hbase的配置文件里面添加如下参数： hbase.client.sync.wait.timeout.msec 3、shell 阅读全文
摘要：
1、环境说明 Hadoop版本： 3.1.4 hbase 版本： 1.2.6 timeserver 版本 2.0 2、vts1.0/vts1.5与vts2.0 vts1.x缺点： 1、不支持分布式收集。 2、收集器和读取器是单实例。 3、存储使用的是leveldb。 vts2 1、借助与nodema 阅读全文
摘要：
1、某个应用程序的端口出现大量的close_wait,同时在应用程序里面出现大量的Too many open files。 这个问题是由于server端没有正常的关闭连接导致系统资源大量的占用，从而导致出现Too many open files，进而系统崩溃。 2、尝试解决办法： 修改系统进程可以打 阅读全文
摘要：
1、现象 通过distcp + bulkload方式进行hbase数据迁移的时候，由于开启的线程数过多，导致在hbase shell里面创建表的时候，提示操作系统不能分配内存，现象： 2、分析 出现这种现象的原因就是操作系统内存不足。 3、解决 降低数据迁移的并发线程数 2）清理操作系统缓存(临时作 阅读全文
摘要：
前言 HDP version： 3.x HIVE version： 3.x 问题描述 使用hdp版本的集群服务，当安装好spark以后，执行spark.sql ,不能查询到hive的数据库，只查询到default数据库，说明spark没有连接到hive。 问题现象 分析： 1、通过上图可以看到spa 阅读全文
摘要：
HDP version： 3.x 1、hive执行sql慢 执行sql hive通过Tez引擎执行如下的sql语句： insert overwrite select .... 整个执行过程消耗十分钟左右，平时任务2-3分钟可以完成，可以明显看到，任务调度出现问题了。 分析 上述的sql语句对应两个m 阅读全文
摘要：
一、安装前提 1、对于Hbase来说，安装方式与Hadoop类似，分为单节点安装、伪分布式安装和完全分布式安装。 单节点安装：单节点安装不依赖与Hadoop，使用本地的文件系统，所有的进程都在一个jvm里面，通常用于测试，这里就不进行演示了。 伪分布式安装：伪分布式安装通常也是用于测试，进程存在与独 阅读全文
摘要：
一、安装 操作系统版本：centos7.3 节点部署情况 | 主机 | 角色 | 数据磁盘 | | | | | | Hadoop1 | master | | | Hadoop2 | matelogger、chunkserver | /dev/sdb,/dev/sdc | | hadoop3 | cl 阅读全文
摘要：
1、hbase master启动几秒钟挂掉 日志如下： 2020-10-25 22:55:13,135 ERROR [master/hadoop1:16000:becomeActiveMaster] master.HMaster: Failed to become active master jav 阅读全文
摘要：
1、自定义协处理器 hbase 版本： 2.x 使用自定义的协处理器需要实现Coprocessor, RegionObserver, CoprocessorService这三个接口，如下图： 可以看出协处理器的加载分为静态加载和动态加载，静态加载需要修改hbase-site.xml配置文件，这将对所 阅读全文
摘要：
错误1，错误信息如下： 尝试解决办法： set hive.mapjoin.hybridgrace.hashtable=false; 原文：https://issues.apache.org/jira/browse/HIVE-15194 阅读全文
摘要：
对应kafka集群开启认证以后，客户端（包括kafka自带挡命令）如果想要访问访问，需要做如下操作： 1、创建一个jaas.conf 文件格式如下： KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyT 阅读全文
摘要：
异常如下： 连接信息： from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers=['localhost:9092']) 解决办法： 只需将security_protocol="SSL" KafkaProdu 阅读全文
摘要：
如果在执行tez任务的时候，，长时间的卡住，如下图： 可能的原因是由于数据量太大，导致am异常 解决： set tez.am.launch.cmd-opts=-Xms16384m -Xmx16384m; set tez.am.resource.memory.mb=20480; 阅读全文
摘要：
1、异常信息 由于mysql 集群是k8s启动，只是用于平时测试，，所以直接删除pod，让它重新生成。 2、查看pod 3、借鉴其他的博客解决问题的思路： 无法从当前节点实现安全引导。原因是当前节点不是集群中最后离开的节点，也就是说当前节点可能未能包含所有的更新。 如果强制启动当前节点，需要修改gr 阅读全文
摘要：
1、Java程序日志现象 2、查看内存使用情况 3、top查看内存使用 4、关闭abrt-hook-ccpp systemctl stop abrt-ccpp.service systemctl disable abrt-ccpp.service systemctl status abrt-ccpp 阅读全文
摘要：
异常信息如下： 解决办法： 1、 hadoop.proxyuser.hive.hosts=HS2_HOST hadoop.proxyuser.hive.groups=* Or 2、 In Hive > Configs > Custom hive-site.xml, add the following 阅读全文
摘要：
问题1：在make的时候，提示如下错误： server.c:5170:39: error: ‘struct redisServer’ has no member named ‘maxmemory’ if (server.maxmemory > 0 && server.maxmemory < 1024 阅读全文
摘要：
zkfc的日志信息： 2020-07-27 09:41:16,304 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuse 阅读全文
摘要：
一、简介 以下是从官网摘抄的，官网地址：https://zookeeper.apache.org/doc/r3.4.13/zookeeperProgrammers.html#sc_ZooKeeperAccessControl ZooKeeper使用ACL来控制对其znode（ZooKeeper数据树 阅读全文
摘要：
执行 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table A --hive-table mysqlToA 错误1 报错如下： 20/0 阅读全文
摘要：
1、查看文件的隐藏内容 对于命令行来说，如果要查看一个文件的隐藏信息，可以通过 cat + -A 的形式，输出隐藏信息 eg： # cat -A i18n M-oM-;M-?LANG=zh_CN$$ 可以看到，文件的隐藏内容被输出出来了。 如果需要在vim里面查询呢？ 2、vim查看文件的隐藏信息 阅读全文
摘要：
一、介绍 Supervisor是一个进程控制系统. 它是一个C/S系统(注意: 其提供WEB接口给用户查询和控制), 它允许用户去监控和控制在类UNIX系统的进程. 相关的组件 supervisor：要安装的软件的名称。 supervisord：装好supervisor软件后，supervisord 阅读全文
摘要：
一、 编译处理程序 使用python编写脚本 1、编写map对应的脚本 map.py #!/usr/bin/env python import sys for i in sys.stdin: worlds = i.strip().split() for word in worlds: print(" 阅读全文