随笔分类 -  Hadoop

摘要:Hadoop缺省端口列表50030 mapred.job.tracker.http.address描述:JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口50070 dfs.http.address描述:NameNode administrative web GUI NAMENODE的HTTP服务器和端口50010 dfs.datanode.address描述:DataNode control port (each DataNode listens on this port and registers it with the? Nam 阅读全文
posted @ 2013-12-26 15:55 小白快跑 阅读(644) 评论(0) 推荐(0) 编辑
摘要:本文首发http://f.dataguru.cn/thread-217843-1-1.html。一、下载安装thrift下载thrift-0.9.1.tar.gz安装包使用tar -xvf thrift-0.9.1.tar.gz解压该包cd thrift-0.9.1按照官方文档上的instal thrift 下载相应依赖包,地址为:http://thrift.apache.org/docs/install/ubuntu/ 执行如下命令 :sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-de 阅读全文
posted @ 2013-12-13 00:18 小白快跑 阅读(655) 评论(0) 推荐(0) 编辑
摘要:http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html 阅读全文
posted @ 2013-10-10 18:15 小白快跑 阅读(220) 评论(0) 推荐(0) 编辑
摘要:转自:http://www.yanyufly.com/2011/04/29/%e8%bd%aczookeeper%e7%9a%84%e5%8e%9f%e7%90%86%e4%bb%8b%e7%bb%8d/第一章 Zookeeper server1.1 Zookeeper基本原理1.1.1 Zookeeper的保证l 顺序性,client的updates请求都会根据它发出的顺序被顺序的处理;l 原子性, 一个update操作要么成功要么失败,没有其他可能的结果;l 一致的镜像,client不论连接到哪个server,展示给它都是同一个视图;l 可靠性,一旦一个update被应用就被持久化了,除非 阅读全文
posted @ 2013-10-10 18:14 小白快跑 阅读(4290) 评论(0) 推荐(0) 编辑
摘要:最近正在学习Hadoop相关的知识,参考了很多材料,如下是C#的两种实现。 目前对这个算法只是知道了运算的过程和思路,理解的还不是太深刻,我看到论坛上很多朋友算的pr值超过1,总感觉是有问题,具体哪有问题反倒倒说不好了,请知晓的朋友帮忙分析下。 附件是两种实现方式,感兴趣的朋友可以自行下来看看,有不对的地方,欢迎批评指正。 这是第二种实现的代码,我是通过判断两个矩阵的相差的范围进而判断是否退出迭代的。 C# 语言的实现,参考http://f.dataguru.cn/forum.php?mod=viewthread&tid=58606 输出结果中的S是构建的原始矩阵using ... 阅读全文
posted @ 2013-08-26 08:54 小白快跑 阅读(444) 评论(0) 推荐(0) 编辑