摘要:
reduce exceed 100%"Reduce Task Progress shows > 100% when the total size of map outputs (for asingle reducer) is high "造成原因:在reduce的merge过程中,check progress有误差,导致status > 100%,在统计过程中就会出现以下错误:java.lang.ArrayIndexOutOfBoundsException: 3 at org.apache.hadoop.mapred.StatusHttpServer$TaskG 阅读全文
摘要:
hadoop的job显示webThere are web-based interfaces to both the JobTracker (MapReduce master) and NameNode (HDFS master) which display status pages about the state of the entire system. By default, these are located at [WWW] http://job.tracker.addr:50030/ and [WWW] http://name.node.addr:50070/.hadoop监控Onl 阅读全文
摘要:
Hadoop添加节点的方法自己实际添加节点过程:1. 先在slave上配置好环境,包括ssh,jdk,相关config,lib,bin等的拷贝;2. 将新的datanode的host加到集群namenode及其他datanode中去;3. 将新的datanode的ip加到master的conf/slaves中;4. 重启cluster,在cluster中看到新的datanode节点;5. 运行bin/start-balancer.sh,这个会很耗时间备注:1. 如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mr的工作效率;2. 也可调用bin/start 阅读全文
摘要:
3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%Answer:结合第二点,然后修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=40004:能够启动datanode,但无法访问,也无法结束的错误在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置 阅读全文
摘要:
单个node新加硬盘1.修改需要新加硬盘的node的dfs.data.dir,用逗号分隔新、旧文件目录2.重启dfs同步hadoop 代码hadoop-env.sh# host:path where hadoop code should be rsync'd from.Unset by default.# export HADOOP_MASTER=master:/home/$USER/src/hadoop用命令合并HDFS小文件hadoop fs -getmerge <src> <dest>重启reduce job方法Introduced recovery of 阅读全文
摘要:
hadoop 阅读全文
摘要:
1.使用Sqlite需要添加框架集libsqlite3.dylib以及import头文件<sqlite3.h>。2.Sqlite函数库是使用c开发的,所以SQL查询语句需要使用char*保存,NSString转Char*请使用[NSString UTF8String]。3.使用Sqlite查询某字段含某关键字的SQL语句写法是"select * from tb_table where title like '%hello%';",其中hello是要查询的关键字,SQL语句后有分号。4.百分号的转换,NSString中需要格式化的字符串中百分号使用 阅读全文
摘要:
以前一直以为只要是压缩文件,文件的大小变会变小的,无论如何也没有考虑过,压缩文件时文件的大小会增加的情况,今天还就遇到了,以图为鉴: 阅读全文
摘要:
如果每天都有86400元进入你的银行户头,而你必须当天用光,你会如何运用这笔钱?天下真有这样的好事吗?是的,而且这种好事每天都在发生着,你真的有这样一个户头,那就是“时间”。每天每一个人都会有新的86400秒进账,而这86400秒的价值要远远的大于86400元.那么,面对这样的一大笔财富。你打算怎样利用它们呢?其实吧,我并不知道你是如何利用它们,但我知道我自己是如何利用的,下面把我的一些时间管理经历和大家分享.今天是2012-4-11 ,是我来到这个世界上的第9142天.关于时间管理的概念理解,我是在大学二年级的某一天通过百度百科所学习到的.因为在那之前自己也经常的听到时间管理这个,时间管理那 阅读全文
摘要:
你是否曾遇到这种情况: 情景一:不知道要忙什么,不知道要干什么,一整天呻吟无聊无聊,但是晚上倒头就睡,第二天接着呻吟…… 情景二:不知道要忙什么,不知道要干什么,一整天呻吟无聊无聊,但是到晚上临睡前感到荒废了一天,浪费了一天。因此在深深地内疚中入睡…… 情景三:即使忙忙碌碌的一天,但是到晚上临睡前感到仍没有收获,更糟糕的是竟然回忆不起一天都忙些什么。因此在痛苦的回想中入睡…… 导致这种情况的原因在于:没有梦想,没有理想。 就是不知道自己要干什么,不知道自己想要什么。 是原来没有梦想,没有理想,而导致以上情景发生,还是因为梦想,理想遥远看不到希望,放弃而如此堕落? 若是前者的话,那没救了,若人活 阅读全文