咖啡猫1292 - 博客园

namenode 和datanode无法启动，错误：FSNamesystem initialization failed. datanode.DataNode: Incompatible namespaceIDs

摘要：问题一：namenode无法启动，查看日志，错误信息如下：org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: NameNode is ... 阅读全文

posted @ 2014-10-28 14:44 咖啡猫1292 阅读(976) 评论(0) 推荐(0) 编辑

Hadoop 重启各个节点

摘要：对于datanode可以在master中配置，然后在maste启动的时候，一并去启动这些节点。对于死掉的节点，也可以通过以下命令启动。重启挂掉的节点进入到挂掉的机器bin/hadoop-daemon.sh start datanode //启动数据节点bin/hadoop-daemon.sh ... 阅读全文

posted @ 2014-10-26 16:20 咖啡猫1292 阅读(357) 评论(0) 推荐(0) 编辑

hadoop 常见问题

摘要： 1、Eclipse 读取hdfs文件错误： java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724... 阅读全文

posted @ 2014-10-26 16:09 咖啡猫1292 阅读(124) 评论(0) 推荐(0) 编辑

hadoop的RPC通信

摘要： RPC(remote procedure call)远程调用不同的Java进程间的对象方法调用一方称作服务端（server），一方称作客户端（client） server端提供对象，供客户端调用，被调用的对象的 RPC是hadoop框架运行的基础。阅读全文

posted @ 2014-10-20 23:44 咖啡猫1292 阅读(128) 评论(0) 推荐(0) 编辑

深入剖析HADOOP程序日志

摘要：深入剖析HADOOP程序日志前提本文来自于博客园逖靖寒的世界http://gpcuster.cnblogs.com了解log4j的使用。正文本文来自于博客园逖靖寒的世界http://gpcuster.cnblogs.com*.log日志文件和*.out日志文件进入我们的Hadoop_LOG目录，... 阅读全文

posted @ 2014-10-20 16:52 咖啡猫1292 阅读(228) 评论(0) 推荐(0) 编辑

Map-Reduce的工作机制

摘要： Mapper“Map-Reduce”的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”而执行“简单的任务”有几个意思：1、数据或计算规模相对于原任务要大大缩小；2、就近计算，即会被分配到存放了所需数据的节点进行计算。3、这些小任务可以并行计算，彼此间没有相互依赖的... 阅读全文

posted @ 2014-10-18 18:06 咖啡猫1292 阅读(300) 评论(0) 推荐(0) 编辑

HDFS权限问题

摘要： HDFS权限问题Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied: user=mango, access=WRITE描述：在window下使用Eclipse进行ha... 阅读全文

posted @ 2014-10-09 23:16 咖啡猫1292 阅读(304) 评论(0) 推荐(0) 编辑

URI和URL的区别

摘要：这两天在写代码的时候，由于涉及到资源的位置，因此，需要在Java Bean中定义一些字段，用来表示资源的位置，比如：imgUrl，logoUri等等。但是，每次定义的时候，心里都很纠结，是该用imgUrl还是imgUri呢？同样的，另外一个问题：String HttpServletRequest.g... 阅读全文

posted @ 2014-10-09 15:59 咖啡猫1292 阅读(151) 评论(0) 推荐(0) 编辑

hadoop创建两大错误：Bad connection to FS. command aborted. exception和Shutting down NameNod...

摘要：我的hadoop启动后，各个节点都正常，但是无法查看hdfs目录，错误提示BadconnectiontoFS.commandaborted. 查了下网上的解决办法，主要是删除tmp下的所有文件，然后格式化就可以了。原文：http://www.tuicool.com/articles/J7R3mei问... 阅读全文

posted @ 2014-10-09 15:07 咖啡猫1292 阅读(1061) 评论(0) 推荐(0) 编辑

去除hadoop启动时的警告

摘要： hadoop启动的时候，会出现以下警告提示：执行more start-all.sh查看该文件但/libexec下不存在hadoop-config.sh文件，所以会执行bin/hadoop-config.sh查看bin/hadoop-config.sh而在/etc/profile 中，hadoop_h... 阅读全文

posted @ 2014-09-25 15:03 咖啡猫1292 阅读(164) 评论(0) 推荐(0) 编辑

导航