摘要：
reduce exceed 100%"Reduce Task Progress shows > 100% when the total size of map outputs (for asingle reducer) is high "造成原因：在reduce的merge过程中，check progress有误差，导致status > 100%，在统计过程中就会出现以下错误：java.lang.ArrayIndexOutOfBoundsException: 3 at org.apache.hadoop.mapred.StatusHttpServer$TaskG 阅读全文
摘要：
hadoop的job显示webThere are web-based interfaces to both the JobTracker (MapReduce master) and NameNode (HDFS master) which display status pages about the state of the entire system. By default, these are located at [WWW] http://job.tracker.addr:50030/ and [WWW] http://name.node.addr:50070/.hadoop监控Onl 阅读全文
摘要：
Hadoop添加节点的方法自己实际添加节点过程：1. 先在slave上配置好环境，包括ssh，jdk，相关config，lib，bin等的拷贝；2. 将新的datanode的host加到集群namenode及其他datanode中去；3. 将新的datanode的ip加到master的conf/slaves中；4. 重启cluster,在cluster中看到新的datanode节点；5. 运行bin/start-balancer.sh，这个会很耗时间备注：1. 如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mr的工作效率；2. 也可调用bin/start 阅读全文
摘要：
3：处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%Answer:结合第二点，然后修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=40004：能够启动datanode，但无法访问，也无法结束的错误在重新格式化一个新的分布式文件时，需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除，同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置 阅读全文
摘要：
单个node新加硬盘1.修改需要新加硬盘的node的dfs.data.dir，用逗号分隔新、旧文件目录2.重启dfs同步hadoop 代码hadoop-env.sh# host:path where hadoop code should be rsync'd from.Unset by default.# export HADOOP_MASTER=master:/home/$USER/src/hadoop用命令合并HDFS小文件hadoop fs -getmerge <src> <dest>重启reduce job方法Introduced recovery of 阅读全文
摘要：
hadoop 阅读全文
摘要：
1.使用Sqlite需要添加框架集libsqlite3.dylib以及import头文件<sqlite3.h>。2.Sqlite函数库是使用c开发的，所以SQL查询语句需要使用char＊保存，NSString转Char＊请使用[NSString UTF8String]。3.使用Sqlite查询某字段含某关键字的SQL语句写法是"select * from tb_table where title like '%hello%';",其中hello是要查询的关键字，SQL语句后有分号。4.百分号的转换，NSString中需要格式化的字符串中百分号使用 阅读全文
摘要：
以前一直以为只要是压缩文件，文件的大小变会变小的，无论如何也没有考虑过，压缩文件时文件的大小会增加的情况，今天还就遇到了，以图为鉴： 阅读全文
摘要：
如果每天都有86400元进入你的银行户头，而你必须当天用光，你会如何运用这笔钱？天下真有这样的好事吗？是的，而且这种好事每天都在发生着,你真的有这样一个户头，那就是“时间”。每天每一个人都会有新的86400秒进账,而这86400秒的价值要远远的大于86400元.那么，面对这样的一大笔财富。你打算怎样利用它们呢？其实吧,我并不知道你是如何利用它们,但我知道我自己是如何利用的,下面把我的一些时间管理经历和大家分享.今天是2012-4-11 ,是我来到这个世界上的第9142天.关于时间管理的概念理解,我是在大学二年级的某一天通过百度百科所学习到的.因为在那之前自己也经常的听到时间管理这个,时间管理那 阅读全文
摘要：
你是否曾遇到这种情况： 情景一：不知道要忙什么，不知道要干什么，一整天呻吟无聊无聊，但是晚上倒头就睡，第二天接着呻吟…… 情景二：不知道要忙什么，不知道要干什么，一整天呻吟无聊无聊，但是到晚上临睡前感到荒废了一天，浪费了一天。因此在深深地内疚中入睡…… 情景三：即使忙忙碌碌的一天，但是到晚上临睡前感到仍没有收获，更糟糕的是竟然回忆不起一天都忙些什么。因此在痛苦的回想中入睡…… 导致这种情况的原因在于：没有梦想，没有理想。 就是不知道自己要干什么，不知道自己想要什么。 是原来没有梦想，没有理想，而导致以上情景发生，还是因为梦想，理想遥远看不到希望，放弃而如此堕落？ 若是前者的话，那没救了，若人活 阅读全文