05 2020 档案

解决Shuffle$ShuffleError: error in shuffle in fetcher错误
摘要：<property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/tmp</value> </property> 这个路径参数配置到etc/hadoop/core-site.xml里面。如果配置在hdfs-site.xml里面，yarn-s 阅读全文
posted @ 2020-05-29 17:28 非洲刘 阅读(712) 评论(0) 推荐(0) 编辑
启动YARN资源管理器
摘要：在hadoop已经安装启动完成的基础上 1、进入$HADOOP_HOME/etc/hadoop，找到mapred-site.xml.template，并复制一份名为：mapred-site.xml 2、在mapred-site.xml中添加： <property> <name>mapreduce.f 阅读全文
posted @ 2020-05-27 17:04 非洲刘 阅读(420) 评论(0) 推荐(0) 编辑
linux检测活体ip并邮件提醒
摘要：1、安装mailx 2、vi /etc/mail.rc，追加一下内容： set from=44XXX4902@qq.comset smtp=smtps://smtp.qq.com:465set smtp-auth-user=44XXX4902@qq.comset smtp-auth-password 阅读全文
posted @ 2020-05-26 19:40 非洲刘 阅读(199) 评论(0) 推荐(0) 编辑
Hadoop的NameNode进入安全模式
摘要：当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 阅读全文
posted @ 2020-05-22 16:34 非洲刘 阅读(1144) 评论(0) 推荐(0) 编辑
Java操作Hadoop-HDFS API Maven环境搭建
摘要：1、创建一个Java项目，将一下代码粘贴到pom.xml中 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.6.0</hadoop.version></ 阅读全文
posted @ 2020-05-21 12:07 非洲刘 阅读(984) 评论(0) 推荐(0) 编辑
Hadoop CDH版本安装和启动（CentOS7）
摘要：1、创建hadoop组和用户，useradd hadoop passwd hadoop groupadd hadoops usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。 2、下载hadoop版本 http://archive.cloudera.com/ 阅读全文
posted @ 2020-05-17 20:47 非洲刘 阅读(951) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示