上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页
摘要: 引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数... 阅读全文
posted @ 2015-03-04 15:16 tinylcy 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 转载自董的博客1、 概述传统的MapReduce框架(见博文:传统MapReduce框架)把一个作业的执行过程分为两个阶段:map和reduce,在map阶段,每个map task读取一个block,并调用map()函数进行处理,然后将结果写到本地磁盘(注意,不是HDFS)上;在reduce阶段,每... 阅读全文
posted @ 2015-03-03 19:16 tinylcy 阅读(906) 评论(0) 推荐(0) 编辑
摘要: DataNode无法启动:问题原因:执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么... 阅读全文
posted @ 2015-02-28 22:28 tinylcy 阅读(1348) 评论(0) 推荐(0) 编辑
摘要: 遇到的问题如下:错误原因是HDFS还没有把这个input文件夹加入。敲入命令并查看HDFS:问题解决。 阅读全文
posted @ 2015-02-28 16:26 tinylcy 阅读(3154) 评论(0) 推荐(0) 编辑
摘要: Hadoop 伪分布式环境时运行wordcount程序,之前已经运行过一次,再次将input文件夹中的内容上传至HDFS时会出现重复,但是还是可以上传成功。但是当再次运行wordcount程序时就会报错:可以看到导致错误的原因时HDFS中的output文件夹已经存在了,所以必须要删除。(因为outo... 阅读全文
posted @ 2015-02-28 15:43 tinylcy 阅读(2256) 评论(0) 推荐(1) 编辑
摘要: 确定比赛名次Time Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 13403Accepted Submission(s): 5361Problem Des... 阅读全文
posted @ 2015-01-23 15:53 tinylcy 阅读(157) 评论(0) 推荐(0) 编辑
摘要: Legal or NotTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 4685Accepted Submission(s): 2141题目描述:A... 阅读全文
posted @ 2015-01-23 15:08 tinylcy 阅读(130) 评论(0) 推荐(0) 编辑
摘要: ConscriptionDescriptionWindy has a country, and he wants to build an army to protect his country. He has picked upNgirls andMboys and wants to collect... 阅读全文
posted @ 2015-01-23 11:47 tinylcy 阅读(180) 评论(0) 推荐(0) 编辑
摘要: Constructing RoadsTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 14935Accepted Submission(s): 569... 阅读全文
posted @ 2015-01-23 10:44 tinylcy 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 奇怪的连通图题目描述:已知一个无向带权图,求最小整数k。使仅使用权值小于等于k的边,节点1可以与节点n连通。输入:输入包含多组测试用例,每组测试用例的开头为一个整数n(1 #include using namespace std; struct Edge{ int start; int... 阅读全文
posted @ 2015-01-20 22:42 tinylcy 阅读(145) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 12 下一页