kalor

导航

 

2013年6月4日

摘要: 转自:http://wuyanzan60688.blog.163.com/blog/static/12777616320132851924235/ MPI作为一种通过消息传递进行并行计算的框架,在很多科学计算上有很重要的应用,这次因为GraphLab环境搭建时的需要,花了三个来小时的时间进行了初步的搭建摸索,感觉很有意思!首先是单机MPI安装1.安装之前因为是集群测试,所以跟hadoop一样先要设置ssh无密钥登录(可以参考这里),我这里用的是一个服务器节点和一台虚拟机。上面给出的链接里对ssh无密钥登录设置说的很清楚。2.开始安装源码下载地址,这里我用的是1.0.8(mpich命名很怪气,明 阅读全文
posted @ 2013-06-04 11:48 kalor 阅读(1747) 评论(0) 推荐(0) 编辑
 
摘要: 转自:http://blog.csdn.net/cs870101/article/details/8072458mapreducegraphlocking多线程框架引擎[+] 1.1 GraphLab简介在海量数据盛行的今天,大规模并行计算已经随处可见,尤其是MapReduce框架的出现,促进了并行计算在互联网海量数据处理中的广泛应用。而针对海量数据的机器学习对并行计算的性能、开发复杂度等提出了新的挑战。机器学习的算法具有下面两个特点:数据依赖性强,运算过程各个机器之间要进行频繁的数据交换;流处理复杂,整个处理过程需要多次迭代,数据的处理条件分支多。而MapReduce是典型的SIMD模型,M 阅读全文
posted @ 2013-06-04 11:38 kalor 阅读(296) 评论(0) 推荐(0) 编辑