Hadoop - 随笔分类 - 吹静静

报错：Yarn 应用程序失败2次，原因是am container:退出，exitcode:1

摘要：报错背景 Linux 环境，普通用户。 Flink任务提交到Yarn集群上执行，发现Yarn能够成功分配资源，但是任务始终处于ACCEPTE状态，不能执行，查看Yarn日志后发现几乎没有报错日志，任务等待一定时间之后直接退出，并没有报告明显错误。报错现象查看Yarn WEB界面：http://b 阅读全文

posted @ 2022-10-14 17:01 吹静静阅读(1845) 评论(0) 推荐(0) 编辑

报错：Hadoop Warning: fs.defaultFS is not set when running "ls" command.

摘要：报错背景服务器安装了impala，然后hadoop命令就不能用了，hadoop fs -ls / 列出来的都是本地文件夹，而不是HDFS的文件夹。同时，hbase、hive等命令也全都失效。报错现象 [root@basecoalmine bin]# hdfs dfs -ls / SLF4J: 阅读全文

posted @ 2022-03-10 14:32 吹静静阅读(229) 评论(0) 推荐(0) 编辑

Hadoop常用命令

摘要：全局命令全部启动：start-all.sh 全部关闭：stop-all.sh 启动全部HDFS服务：start-dfs.sh 关闭全部HDFS服务：stop-dfs.sh 启动全部YARN服务：start-yarn.sh 关闭全部YARN服务：stop-yarn.sh 单个服务命令启动NN：ha 阅读全文

posted @ 2021-04-10 13:20 吹静静阅读(297) 评论(0) 推荐(0) 编辑

Hadoop主要组件知识点梳理

摘要：一、HDFS梳理 1.组件及功能（1）NameNode：存储：文件系统的命名空间 a.文件名称； b.文件目录结构； c.文件属性【权限，创建时间，副本数量】 d.文件对应哪些数据块-->数据块对应哪些datanode节点，blockmap namenode节点不会持续的存储这种映射关系，是通过阅读全文

posted @ 2021-01-16 18:19 吹静静阅读(414) 评论(0) 推荐(0) 编辑

报错:hadoop There appears to be a gap in the edit log. We expected txid 927, but got txid 1265.

摘要：报错背景 hadoop启动报错。报错现象 Number of suppressed write-lock reports: 0 Longest write-lock held interval: 10734 2020-12-15 10:48:07,720 WARN org.apache.hadoo 阅读全文

posted @ 2020-12-15 11:57 吹静静阅读(2004) 评论(0) 推荐(0) 编辑

报错：Sqoop Failing this attempt. Failing the application.

摘要：报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo 阅读全文

posted @ 2020-10-29 17:31 吹静静阅读(1070) 评论(0) 推荐(0) 编辑

报错：hadoop NameNode is not formatted

摘要：报错背景 hadoop集群安装完成后进行格式化操作，不成功。报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun 阅读全文

posted @ 2020-10-16 21:30 吹静静阅读(6415) 评论(0) 推荐(0) 编辑

Hadoop数据倾斜问题矫正

摘要：集群中发现有一个节点占用的空间特别多，而其它节点相对来说占用空间很少。启动hadoop的负载均衡服务 #启动数据均衡，默认阈值为 10% start-balancer.sh #启动数据均衡，阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala 阅读全文

posted @ 2020-10-11 10:36 吹静静阅读(212) 评论(0) 推荐(0) 编辑

报错：Hadoop Operation category READ is not supported in state standby

摘要：报错背景 Linux服务器集群发现数据倾斜问题严重，于是想要开启负载均衡服务，但是发现Balancer启动之后自己挂掉。报错现象查看日志：/data/hadoop/logs，发现报错信息。报错原因 hadoop集群中的两个NameNode均为standby状态。可以查看你的NameNode状阅读全文

posted @ 2020-10-11 10:12 吹静静阅读(557) 评论(0) 推荐(0) 编辑

报错：hadoop NodeManager from localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

摘要：报错背景 hadoop启动时NodeManager挂掉。报错现象 2020-09-16 17:01:08,451 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org. 阅读全文

posted @ 2020-09-16 17:26 吹静静阅读(450) 评论(0) 推荐(0) 编辑

hadoop伪分布式安装配置文件hdfs-site.xml

摘要：hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache Licens 阅读全文

posted @ 2020-06-29 15:38 吹静静阅读(783) 评论(0) 推荐(0) 编辑

kafka产生的数据通过Flume存到HDFS中

摘要：试验目标：把kafka的生产者发出的数据流经由Flume放到HDFS来存储。试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配阅读全文

posted @ 2019-02-28 11:55 吹静静阅读(4405) 评论(0) 推荐(0) 编辑

hadoop长时间运行后，stop-all.sh报错

摘要：报错现象： hadoop在stop-all.sh的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下，linux默认会每隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和had 阅读全文

posted @ 2019-02-25 15:14 吹静静阅读(672) 评论(0) 推荐(0) 编辑

hadoop MapReduce —— 输出每个单词所对应的文件

摘要：下面是四个文件及其内容。代码实现： Driver：结果：阅读全文

posted @ 2018-12-15 10:51 吹静静阅读(434) 评论(0) 推荐(0) 编辑

hadoop 伪分布式安装

摘要：0. 关闭防火墙重启后失效 service iptables start ;#立即开启防火墙，但是重启后失效。 service iptables stop ;#立即关闭防火墙，但是重启后失效。重启后生效 chkconfig iptables on ;#开启防火墙，重启后生效 chkconfig 阅读全文

posted @ 2018-12-13 19:35 吹静静阅读(246) 评论(0) 推荐(0) 编辑

hadoop 完全分布式安装

摘要：一个完全的hadoop分布式安装至少需要3个zookeeper，3个journalnode，3个datanode，2个namenode组成。也就是说需要11个节点，但是我云主机有限，只有3个，所以把很多节点搭在了同一个服务器上。步骤： 1.关闭防火墙 service iptables stop 阅读全文

posted @ 2018-12-13 18:54 吹静静阅读(386) 评论(0) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682

随笔分类 - Hadoop