随笔分类 -  Hadoop

1
hadoop 错误处理机制
摘要：hadoop 错误处理机制1.硬件故障 硬件故障是指jobtracker故障或TaskTracker 故障 jobtracker是单点,若发生故障,目前hadoop 还无法处理,唯有选择最牢靠的硬件作为jobtracker jobtracker通过心跳(周期1分钟) 信号来了解TaskTrac... 阅读全文
posted @ 2014-09-11 09:40 mjorcen 阅读(355) 评论(0) 推荐(0) 编辑
hadoop 任务执行优化
摘要：任务执行优化1. 推测式执行： 如果jobtracker 发现有拖后的任务，会再启动一个相同的备份任务，然后哪个先执行完就会去kill掉另一个，因此会在监控页面上经常能看到正常执行完的作业会有被kill掉的任务。2.推测式执行缺省打开，但如果是代码问题，并不能解决问题，而且会使集群更慢，通过在ma... 阅读全文
posted @ 2014-09-10 22:53 mjorcen 阅读(596) 评论(0) 推荐(0) 编辑
Hadoop的调度器总结
摘要：Hadoop的调度器总结 随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hado... 阅读全文
posted @ 2014-09-10 20:16 mjorcen 阅读(648) 评论(0) 推荐(0) 编辑
MapReduce工作原理图文详解 (炼数成金)
摘要：MapReduce工作原理图文详解1.Map-Reduce 工作机制剖析图:1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在Hadoop集群里里面的任意一个节点进行,只要该节点装了Hadoop并且连入了Hadoop集群)2.jo... 阅读全文
posted @ 2014-09-10 18:04 mjorcen 阅读(448) 评论(0) 推荐(0) 编辑
MapReduce工作原理图文详解
摘要：MapReduce工作原理图文详解正文：1.MapReduce作业运行流程流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都... 阅读全文
posted @ 2014-09-10 17:27 mjorcen 阅读(278) 评论(0) 推荐(0) 编辑
HDFS 的可靠性
摘要：HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都可副本 DataNode启动时,遍历本地文件系统,产生一份HDFS数据块和本地文件的对应关系列表(blo... 阅读全文
posted @ 2014-09-09 18:25 mjorcen 阅读(743) 评论(0) 推荐(1) 编辑
HDFS入门详解
摘要：一. 前提和设计目标1. 硬件错误是常态,因此需要冗余,这是深入到HDFS骨头里面去了 HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和... 阅读全文
posted @ 2014-09-09 17:53 mjorcen 阅读(390) 评论(0) 推荐(0) 编辑
莫名其妙的主机名 VM_32_234_centos
摘要：在腾讯服务器上部署的时候出现的莫名其妙的错误,我在配置文件上都写master, node1,但是运行mapredure的时候的时候老是出现 Job job_1409546978133_0001 failed with state FAILED due to: Application applicat... 阅读全文
posted @ 2014-09-01 17:09 mjorcen 阅读(767) 评论(0) 推荐(0) 编辑
hadoop Safe mode is ON 的解决办法
摘要：hadoop Safe mode is ON 的解决办法搭了一个hadoop集群环境，近期总是出现读写文件错误的情况，查看name node的日志显示（Safe mode is ON）Safe mode is ON. The ratio of reported blocks 0.2000 has n... 阅读全文
posted @ 2014-09-01 16:53 mjorcen 阅读(1597) 评论(0) 推荐(0) 编辑
Does not contain a valid host:port authority: Master:8031 (configuration property 'yarn.resourcemanager.resource-tracker.address')
摘要：问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A... 阅读全文
posted @ 2014-08-30 10:28 mjorcen 阅读(3337) 评论(0) 推荐(0) 编辑
DEPRECATED: Use of this script to execute hdfs command is deprecated.
摘要：DEPRECATED: Use of this script to execute hdfs command is deprecated.本人安装的hadoop版本是2.4.0的，但每次执行命令时都会显示下面的信息hadoop@VM_160_34_centos:/usr/local/hadoop-2... 阅读全文
posted @ 2014-08-29 21:47 mjorcen 阅读(15796) 评论(0) 推荐(0) 编辑
datanode无法连接到master
摘要：初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat... 阅读全文
posted @ 2014-08-29 15:29 mjorcen 阅读(839) 评论(0) 推荐(0) 编辑
hadoop2.4.0 安装配置 (2)
摘要：hdfs-site.xml配置如下: dfs.namenode.secondary.http-address Master:9001 dfs.webhdfs.enabled true dfs.re... 阅读全文
posted @ 2014-08-29 14:57 mjorcen 阅读(252) 评论(0) 推荐(0) 编辑
hadoop 2.2.0 编译报错: [ERROR] class file for org.mortbay.component.AbstractLifeCycle not found
摘要：[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found错误堆栈如下:[ERROR] COMPILATION ERROR : [INFO] ------------------------------------... 阅读全文
posted @ 2014-08-29 11:15 mjorcen 阅读(532) 评论(0) 推荐(0) 编辑
hadoop多次格式化后，导致datanode启动不了
摘要：hadoop多次格式化后，导致datanode启动不了,并且在datanode里面执行hadoop datanode -upgrade 会抛出如下异常:************************************************************/2014-08-27 14... 阅读全文
posted @ 2014-08-27 15:25 mjorcen 阅读(1138) 评论(0) 推荐(0) 编辑
secondarynamenode异常
摘要：secondarynamenode异常2014-08-26 22:06:12,793 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpointjava.io.IOExceptio... 阅读全文
posted @ 2014-08-26 22:15 mjorcen 阅读(1101) 评论(0) 推荐(0) 编辑
Hadoop NameNode is not formatted.
摘要：2014-08-26 20:27:22,712 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: NameNode i... 阅读全文
posted @ 2014-08-26 20:37 mjorcen 阅读(10832) 评论(0) 推荐(0) 编辑
Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）
摘要：Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/loc... 阅读全文
posted @ 2014-08-26 20:14 mjorcen 阅读(1993) 评论(0) 推荐(0) 编辑
YARN加载本地库抛出Unable to load native-hadoop library解决办法
摘要：YARN加载本地库抛出Unable to load native-hadoop library解决办法用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN util.NativeCodeLoader: Unable to load nativ... 阅读全文
posted @ 2014-08-23 11:12 mjorcen 阅读(852) 评论(0) 推荐(0) 编辑
Hadoop 2.4.0完全分布式平台搭建、配置、安装
摘要：一：系统安装与配置Hadoop选择下载2.4.0 http://hadoop.apache.org　/　http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/JDK我用的是1.7u64 http://www.oracle.com/t... 阅读全文
posted @ 2014-08-19 22:54 mjorcen 阅读(741) 评论(0) 推荐(0) 编辑

1
点击右上角即可分享
微信分享提示