2014年2月23日

【转】mapreduce中的全局文件使用方法:以k-means为例

摘要: 【转自:http://www.linuxidc.com/Linux/2012-10/71540p3.htm】 以前有做过在Hadoop编 写程序时使用全局变量的想法,但是最后却没有实现,上网查才看到说Hadoop不支持全局变量。但是有时候编程的时候又会用到,比如编写k-means算 法的时候,如果可以有个全局变量存储中心点该多好呀。其实在hadoop中确实是有相关的实现的,比如可以在mapper中的setup函数中读取一个小 文件,然后从这个文件中取出全局变量的值。那具体如何实现呢?首先提出一个问题,然后利用这种思想去解决会比较好。首先说下我要实现的问题:我现在有输入数据如下:0.00.20. 阅读全文

posted @ 2014-02-23 14:51 爱踢小菜 阅读(351) 评论(0) 推荐(0) 编辑

2014年2月11日

【转】MapReduce中的Combiner 和 in-Mapper Combining

摘要: 【转】http://tech.it168.com/a2012/0417/1338/000001338167.shtml MapReduce是一种编程模式,在很大程度上借鉴了函数式语言。它主要的思想是分而治之(divide and conquer)。将一个大的问题切分成很多小的问题,然后在集群中的各个节点上执行,这既是Map过程。在Map过程结束之后,会有一个Ruduce的过程,这个过程即将所有的Map阶段产出的结果进行汇集。 上述过程可以说是一个显而易见的过程,所以说MapReduce是一个极其简单而有极其复杂的编程模式。说它简单是因为在程序员使用它编程解决实际问题时,他只要编写一个Map.. 阅读全文

posted @ 2014-02-11 11:50 爱踢小菜 阅读(381) 评论(0) 推荐(0) 编辑

2014年1月22日

Linux 下安装hadoop,伪分布模式配置

摘要: 0.本机安装所需软件及环境 Ubuntu12.0.4,64位 jdk版本:jdk1.7.0_15.tar.gz 地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htm hadoo... 阅读全文

posted @ 2014-01-22 00:51 爱踢小菜 阅读(1093) 评论(0) 推荐(0) 编辑

2014年1月21日

VS2010中配置 CUDA5.5

摘要: 1.本机安装环境 Windows 7,64位 显卡:NVIDA GeForce GT 640M(安装之前确保自己机子的显卡支持CUDA程序设计) CUDA:cuda_5.5.20_winvista_win7_win8_notebook_64(根据自己机子类型选择合适的 CUDA Toolkit,下载地址:https://developer.nvidia.com/cuda-downloads)2.安装VS2010,本机安装在目录E:\3.安装CUDA 5.5 解压缩文件cuda_5.5.20_winvista_win7_win8_notebook_64到任意目录 解压完成后,开始安装 ... 阅读全文

posted @ 2014-01-21 19:48 爱踢小菜 阅读(894) 评论(0) 推荐(0) 编辑

导航