随笔分类 -  Hadoop应用

Hadoop jar配置使用JMX进行远程JVM监控
摘要：背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。 可以使用linux上的pmap –d 来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。 在这篇文章Eclipse远程调试HDP源代码中，提到使用JMX的方法对HDP进行远程调试。JMX（Java Management Ext... 阅读全文
posted @ 2016-05-26 09:38 justinzhang 阅读(3150) 评论(0) 推荐(0) 编辑
如何启动ResourceManager和NodeManager
摘要：登录到bigtop1上，vagrant ssh bigtop1 将/usr/lib/hadoop/libexec/init-hdfs.sh文件内容替换为: #!/bin/bash -ex # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements... 阅读全文
posted @ 2016-01-28 17:22 justinzhang 阅读(13362) 评论(0) 推荐(0) 编辑
java.io.IOException: No FileSystem for scheme: hdfs
摘要：在这篇文章中，介绍了如何将Maven依赖的包一起打包进jar包。使用maven-assembly打成jar后，将这个jar提供给其他工程引用的时候，报出如下错误： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN ... 阅读全文
posted @ 2015-11-21 14:12 justinzhang 阅读(60551) 评论(4) 推荐(5) 编辑
Hadoop 读取文件API报错
摘要：Exception in thread "main" org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1124468226-10.0.2.15-1429879726015:blk_1073742186_1370 file=/user/testdir/yarn-site.xml at org.ap... 阅读全文
posted @ 2015-09-28 16:29 justinzhang 阅读(1198) 评论(0) 推荐(0) 编辑
Hadoop创建/删除文件夹出错
摘要：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.or... 阅读全文
posted @ 2015-09-28 15:38 justinzhang 阅读(3157) 评论(0) 推荐(0) 编辑
The type org.apache.commons.cli.Options cannot be resolved. It is indirectly referenced from required .class files
摘要：在搭建好Hadoop Eclipse开发环境后，编写map-reduce，遇到如下的问题： 从字面上可以看出，工程缺少org.apache.commons.cli.Options，这个包被间接的被其他包使用，根据经验推断，这个应该是缺少$HADOOP_HOMT/lib下的某一个包，通过不断的尝试，发现是缺少了commons-cli-1.2.jar包， 通过Java... 阅读全文
posted @ 2015-03-13 16:32 justinzhang 阅读(6741) 评论(1) 推荐(4) 编辑
Hadoop Eclipse开发环境搭建
摘要：This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare ti... 阅读全文
posted @ 2015-01-30 11:15 justinzhang 阅读(29636) 评论(0) 推荐(1) 编辑
Hadoop hostname: Unknown host
摘要：本来下想在一台虚拟机上，搭建一个hadoop的测试hadoop，用于调试和阅读hadoop源代码，发现在虚拟机上执行： $hostname -i hostname: Unknown host 这个是因为没有设置/etc/hosts文件导致的，如果linux的环境是这样的，那么将会在启动datanode和tasktracker的时候失败， datanode和namenode将会抛出如下的... 阅读全文
posted @ 2015-01-28 12:55 justinzhang 阅读(5832) 评论(0) 推荐(0) 编辑
java.io.IOException: Incompatible namespaceIDs
摘要：问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的datanode就没有办法启动hdfs服务，但是旧的dadanode可以启动tasktracker。 ... 阅读全文
posted @ 2015-01-28 11:17 justinzhang 阅读(1381) 评论(0) 推荐(1) 编辑
Hadoop集群搭建
摘要：1. 首先，准备好hadoop安装包和JDK，hadoop-1.0.3的svn版本库：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/， hadoop-1.0.3的安装包地址：http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/ 2. 建立后各个... 阅读全文
posted @ 2015-01-27 11:37 justinzhang 阅读(6385) 评论(0) 推荐(0) 编辑