2012年12月17日

hadoop的执行过程
摘要： 《hadoop in action》中有一句话：“当reducer任务接收来自各个mapper的输出时，它按照键/值对中的键对输入数据进行排序，并将相同键的值归并。然后调用reduce（）函数”，也就是说，下面这幅图，shuffer and sort是在各个reduce task上执行的，执行完后调用reduce()函数。其实这个图还不是很完整，最上端应该是InputFormat(InputSplit 和 RecordReader )这个负责将整个输入划分，分发给每一个mapper。InputSplit的数目，也就是《hadoop in action》中文书中所译的输入分片，分片的数目是等于m 阅读全文
posted @ 2012-12-17 11:13 brainworm 阅读(660) 评论(0) 推荐(0)
how to write a simple makefile
摘要： 1 IDIR =../include 2 CC=gcc 3 CFLAGS=-I$(IDIR) 4 5 ODIR=obj 6 LDIR =../lib 7 8 LIBS=-lm 9 10 _DEPS = hellomake.h11 DEPS = $(patsubst %,$(IDIR)/%,$(_DEPS))12 13 _OBJ = hellomake.o hellofunc.o 14 OBJ = $(patsubst %,$(ODIR)/%,$(_OBJ))15 16 17 $(ODIR)/%.o: %.c $(DEPS)18 $(CC) -c -o $@ $< $(CFLAGS... 阅读全文
posted @ 2012-12-17 09:46 brainworm 阅读(149) 评论(0) 推荐(0)

导航