随笔分类 - Hadoop错误记录与调优
摘要：1、yarn错误信息 org.apache.hadoop.security.AccessControlException: Queue root.idd already has 0 applications, cannot accept submission of application - HDP
阅读全文
摘要：zkfc的日志信息： 2020-07-27 09:41:16,304 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuse
阅读全文
摘要：错误信息 reduce容器报的错误信息如下： 2020-07-01 14:06:19,276 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.t
阅读全文
摘要：namenode异常信息： 2020-06-03 04:44:42,313 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal (JournalAndStre
阅读全文
摘要：生产集群上，有一台datanode节点磁盘数量飙升，其中五块盘容量已经使用达到100%了，其他磁盘也基本达到90%以上。运行balancer不生效，数据还是疯长，看balancer日志，貌似balancer没有进行大量的块移动。 问题现象： 2020-05-25 22:13:47,459 INFO
阅读全文
摘要：使用spark on yarn跑任务的时候，出现了异常错误，错误如下： hduser@xxx:/data1/hadoop/spark/bin$ ./spark-shell --master yarn --deploy-mode client 2020-04-13 10:04:25 WARN Nati
阅读全文
摘要：1、hbase regionserver 错误日志 2020-04-07 15:53:36,604 WARN [hadoop01:16020-0.append-pool2-t1] wal.FSHLog: Append sequenceId=3897, requesting roll of WAL j
阅读全文
摘要：执行hadoop的相关命令时，总提示如下： ]$ hadoop fs -ls / 2020-03-09 16:09:39,384 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
阅读全文
摘要：错误： hadoop Requested data length 86483783 is longer than maximum configured RPC length 解决： 修改NameNode的hdfs-site.xml配置文件，添加以下配置： <property> <name>ipc.m
阅读全文
摘要：java.io.IOException: Requested data length 67889237 is longer than maximum configured RPC length 67108864. RPC came from 10.162.3.12 解决： 修改NameNode的hd
阅读全文
摘要：使用kvm做了一个hadoop组件的镜像，使用该镜像启动，在使用jps的时候，没有任何信息显示。 解决： 删除/tmp下的hsper开头文件，哪个用户没有权限就删除对应的hsper**_username**文件
阅读全文
摘要：在hadoop中安装jdk软件以后出现如下问题： 错误描述 [xxx@localhost jdk1.8.0_181]$ ./bin/jps Exception in thread "main" java.lang.NullPointerException at sun.jvmstat.perfdat
阅读全文
摘要：问题现象 问题描述 公司业务程序需求每30分钟mv 一万多个文件，如果三十分钟之内当前的文件内容没有全部移动，程序报错并且停止。 分析 通过分析，发现在启动balancer和不启动balancer的情况下，namenode的处理能力差别巨大。不启动balancer，一万多个文件不到20秒全部移动成功
阅读全文
摘要：一、Service RPC port NameNode默认使用8020端口侦听所有的RPC请求（HDP版本），包括客户端数据请求，DataNode心跳和block上报，ZKFC模块监控检查和切换控制。当集群规模越和RPC请求来越大时，RPC请求响应时间也变得越来越长。 NameNode也给DataN
阅读全文
摘要：错误记录与分析 错误1：java.net.BindException: Port in use: localhost:0 错误2：datanode节点磁盘空间爆满，导致datanode启动不能启动 错误3：java.io.IOException: Premature EOF from inputSt
阅读全文
摘要：修改内核参数 在/etc/sysctl.conf文件中添加如下配置（需要root权限）以下参数的默认值是在centos7下查看的fs.file-max = 6815744 //文件描述符总数，默认值：94121fs.aio-max-nr = 1048576 //最大并发io请求数，默认值：10485
阅读全文
摘要：1、优化文件系统，修改/etc/fstab 在defaults后面添加noatime，表示不记录文件的访问时间。 修改为： 如果不想重新启动操作系统使配置生效，那么应该执行： # mount -o remount /dev/mapper/centos-root # mount -o remount
阅读全文
