搬砖的小沙弥

摘要： MapRduce保证reducer的输入是按照key进行排过序的,原因和归并排序有关,在reducer接收到不同的mapper输出的有序数据后,需要再次进行排序,然后是分组排序,如果mapper输出的是有序数据,将减少reducer阶段排序的时间消耗.一般将排序以及Map的输出传输到Reduce... 阅读全文

摘要： 1. Mapper类首先 Mapper类有四个方法:(1) protected void setup(Context context)(2) Protected void map(KEYIN key,VALUEIN value,Context context)(3) protected void c... 阅读全文

摘要： 引言R的内存管理机制究竟是什么样子的？最近几日在讲一个分享会，被同学问到这方面的问题，可是到网上去查，终于找到一篇R语言内存管理不过讲的不清不楚的，就拿memory.limit()函数来说，是在windows下才使用的，作者几乎没有提及，还有rm()，gc()函数到底怎么工作的，什么时候用，都无从提... 阅读全文

摘要： linux，mysql和R的版本信息：Linux naci 3.19.0-16-generic #16-Ubuntu SMPServer version: 5.6.24-0ubuntu2 (Ubuntu)R version 3.1.2 (2014-10-31) -- "Pumpkin Helmet"... 阅读全文

摘要： 最近在学习R语言，看到R与数据库交互这一部分，就自己动手实践了一下，数据库选择的是mysql，主要记录下linux下怎么安装mysql。网上的很多资料都有相关的文章，这里只是记录下自己安装过程中遇到的问题和解决方法：linux内核版本：~$ uname -aLinux naci 3.19.0-16-... 阅读全文

摘要： 在linux下如何编写脚本调用R语言写的程序呢？R语言进行批处理有2种方式：R CMD BATCH --options scriptfile outputfileRscript --options scriptfile arg1 arg2 arg3 >outputfileoptions的选项以及含义... 阅读全文

摘要： 1. Pryr安装 由于项目pryr，还没有发布到CRAN，仅支持从github安装。要使用devtools包来通过github来安装，在https://github.com/hadley/pryr中给出了安装pryr的方法。由于我的电脑之前并没有安装devtools，所以先从安装devtools开... 阅读全文

摘要： 最近在研究OpenMp，写了一段代码，如下：#include#include#include#include#define THREAD_NUM 8int main(){ clock_t start,finish;int n=80000000;int sum;start=clock();for(in... 阅读全文

摘要： 关于false sharing的文章，网上一大堆了，不过觉得都不太系统，那么下面着重系统说明一下。先看看外国佬下的定义：In symmetric multiprocessor (SMP) systems, each processor has a local cache. The memory sy... 阅读全文

摘要： section语句是用在sections语句里用来将sections语句里的代码划分成几个不同的段#pragma omp [parallel] sections [子句]{ #pragma omp section { 代码块 }} 当存在可选参数#pragma omp parallel sectio... 阅读全文