报错：Yarn 应用程序失败2次，原因是am container:退出，exitcode:1
摘要：报错背景 Linux 环境，普通用户。 Flink任务提交到Yarn集群上执行，发现Yarn能够成功分配资源，但是任务始终处于ACCEPTE状态，不能执行，查看Yarn日志后发现几乎没有报错日志，任务等待一定时间之后直接退出，并没有报告明显错误。 报错现象 查看Yarn WEB界面：http://b
阅读全文
posted @
2022-10-14 17:01
吹静静
阅读(1848)
推荐(0) 编辑
报错：Hadoop Warning: fs.defaultFS is not set when running "ls" command.
摘要：报错背景 服务器安装了impala，然后hadoop命令就不能用了，hadoop fs -ls / 列出来的都是本地文件夹，而不是HDFS的文件夹。 同时，hbase、hive等命令也全都失效。 报错现象 [root@basecoalmine bin]# hdfs dfs -ls / SLF4J:
阅读全文
posted @
2022-03-10 14:32
吹静静
阅读(229)
推荐(0) 编辑
Hadoop常用命令
摘要：全局命令 全部启动：start-all.sh 全部关闭：stop-all.sh 启动全部HDFS服务：start-dfs.sh 关闭全部HDFS服务：stop-dfs.sh 启动全部YARN服务：start-yarn.sh 关闭全部YARN服务：stop-yarn.sh 单个服务命令 启动NN：ha
阅读全文
posted @
2021-04-10 13:20
吹静静
阅读(297)
推荐(0) 编辑
Hadoop主要组件知识点梳理
摘要：一、HDFS梳理 1.组件及功能 （1）NameNode： 存储：文件系统的命名空间 a.文件名称； b.文件目录结构； c.文件属性【权限，创建时间，副本数量】 d.文件对应哪些数据块-->数据块对应哪些datanode节点，blockmap namenode节点不会持续的存储这种映射关系，是通过
阅读全文
posted @
2021-01-16 18:19
吹静静
阅读(414)
推荐(0) 编辑
报错:hadoop There appears to be a gap in the edit log. We expected txid 927, but got txid 1265.
摘要：报错背景 hadoop启动报错。 报错现象 Number of suppressed write-lock reports: 0 Longest write-lock held interval: 10734 2020-12-15 10:48:07,720 WARN org.apache.hadoo
阅读全文
posted @
2020-12-15 11:57
吹静静
阅读(2005)
推荐(0) 编辑
报错：Sqoop Failing this attempt. Failing the application.
摘要：报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo
阅读全文
posted @
2020-10-29 17:31
吹静静
阅读(1071)
推荐(0) 编辑
报错：hadoop NameNode is not formatted
摘要：报错背景 hadoop集群安装完成后进行格式化操作，不成功。 报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun
阅读全文
posted @
2020-10-16 21:30
吹静静
阅读(6415)
推荐(0) 编辑
Hadoop数据倾斜问题矫正
摘要：集群中发现有一个节点占用的空间特别多，而其它节点相对来说占用空间很少。 启动hadoop的负载均衡服务 #启动数据均衡，默认阈值为 10% start-balancer.sh #启动数据均衡，阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala
阅读全文
posted @
2020-10-11 10:36
吹静静
阅读(212)
推荐(0) 编辑
报错：Hadoop Operation category READ is not supported in state standby
摘要：报错背景 Linux服务器集群发现数据倾斜问题严重，于是想要开启负载均衡服务，但是发现Balancer启动之后自己挂掉。 报错现象 查看日志：/data/hadoop/logs，发现报错信息。 报错原因 hadoop集群中的两个NameNode均为standby状态。 可以查看你的NameNode状
阅读全文
posted @
2020-10-11 10:12
吹静静
阅读(558)
推荐(0) 编辑
报错：hadoop NodeManager from localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.
摘要：报错背景 hadoop启动时NodeManager挂掉。 报错现象 2020-09-16 17:01:08,451 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.
阅读全文
posted @
2020-09-16 17:26
吹静静
阅读(451)
推荐(0) 编辑
hadoop伪分布式安装配置文件hdfs-site.xml
摘要：hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache Licens
阅读全文
posted @
2020-06-29 15:38
吹静静
阅读(783)
推荐(0) 编辑
kafka产生的数据通过Flume存到HDFS中
摘要：试验目标： 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配
阅读全文
posted @
2019-02-28 11:55
吹静静
阅读(4406)
推荐(0) 编辑
hadoop长时间运行后，stop-all.sh报错
摘要：报错现象： hadoop在stop-all.sh的时候依据的是datanode上的mapred和dfs进程号。 而默认的进程号保存在/tmp下，linux默认会每 隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。 因此删掉hadoop-hadoop-jobtracker.pid和had
阅读全文
posted @
2019-02-25 15:14
吹静静
阅读(672)
推荐(0) 编辑
hadoop MapReduce —— 输出每个单词所对应的文件
摘要：下面是四个文件及其内容。 代码实现： Driver： 结果：
阅读全文
posted @
2018-12-15 10:51
吹静静
阅读(435)
推荐(0) 编辑
hadoop 伪分布式安装
摘要：0. 关闭防火墙 重启后失效 service iptables start ;#立即开启防火墙，但是重启后失效。 service iptables stop ;#立即关闭防火墙，但是重启后失效。 重启后生效 chkconfig iptables on ;#开启防火墙，重启后生效 chkconfig
阅读全文
posted @
2018-12-13 19:35
吹静静
阅读(246)
推荐(0) 编辑
hadoop 完全分布式安装
摘要：一个完全的hadoop分布式安装至少需要3个zookeeper，3个journalnode，3个datanode，2个namenode组成。 也就是说需要11个节点，但是我云主机有限，只有3个，所以把很多节点搭在了同一个服务器上。 步骤： 1.关闭防火墙 service iptables stop
阅读全文
posted @
2018-12-13 18:54
吹静静
阅读(386)
推荐(0) 编辑
管理
