搭建及修正Hadoop1.2.1 MapReduce Pipes C++开发环境
Hadoop目前人气超旺，返璞归真的KV理念让人们再一次换一个角度来冷静思考一些问题。
但随着近些年来写C/C++的人越来越少，网上和官方WIKI的教程直接落地的成功率却不高，多少会碰到这样那样的问题。
现在我就重新整理下搭建过程的一些细节，供同好者分享，也请多多指点。
1，一些条件：
VituralBox 4.3 Win7 x64
Centos 6.4 x64_86（来自某国内某镜像网站）
Hadoop-1.2.1.tar.gz
安装openssl、zlib、glib必备（之前cassandra的文章有提及）
2，搭建集群过程（这部分简写，网上很多参考）
2.1 ssh_key互信
主备：ssh-keygen -t rsa 回车到底
主备：chmod 755 .ssh
主：cd .ssh
主：cp id_rsa.pub authorized_keys
主：chmod 644 authorized_keys
主：scp authorized_keys 192.168.137.102:/root/.ssh
备：#scp id_rsa.pub 192.168.137.101:/root/.ssh/192.168.137.102.id_rsa.pub
主：
cat 192.168.137.102.id_rsa.pub >> authorized_keys
主备：
vim /etc/ssh/sshd_config
改为 RSAAuthentication yes
PubkeyAuthentication yes
主备：
service sshd restart
2.2 hadoop-env.sh 头上增补
export JAVA_HOME=/opt/java1.6
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIRE=/opt/hadoop/conf
2.3 三大xml配置（此处略，网上都有，或者看老版本default）
2.4 master配置
192.168.137.101
2.5 slaver配置
192.168.137.102
2.6 同步
scp -r hadoop 192.168.137.102:/opt
2.7 格式化
hadoop namenode -format ，提升输入大写Y
2.8 拉起来
start-all.sh
2.9 初验
jps（主跑namenode*2+job，备跑task+data）
hadoop dfsadmin -report
或者开个IE，http://cent1:50070 看下日志，浏览下Hdfs
3，搭建C++ Pipes
cd /opt/hadoop/src/c++/pipes -> chmod 777 configure -> ./configure -> make -> make install
cd /opt/hadoop/src/c++/utils -> chmod 777 configure -> ./configure -> make -> make install
cd //opt/hadoop/src/c++/libhdfs -> chmod 777 configure -> ./configure -> make -> make install
把生成的静、动库文件（比自带版本size打了3~4倍）扔到下面三个目录（为今后方便起见）
/opt/hadoop/c++/Linux-amd64-64/lib
/usr/lib64
/usr/lib
/usr/local/lib
及自己的开发目录
把hadoop自带的头文件/opt/hadoop/c++/Linux-amd64-64/include扔到
/usr/include
/usr/local/include
及自己的开发目录
重启hadoop。不做第三步，在开始reduce的过程中会遇到服务器认证失败的报错。
4，开发环境
4.1 用网上北美气象局的SAMPLE
[root@cent3 tt]# more sample.txt
0067011990999991950051507004+68750+023550FM-12+038299999V0203301N00671220001CN9999999N9+00001+99999999999
0043011990999991950051512004+68750+023550FM-12+038299999V0203201N00671220001CN9999999N9+00221+99999999999
0043011990999991950051518004+68750+023550FM-12+038299999V0203201N00261220001CN9999999N9-00111+99999999999
0043012650999991949032412004+62300+010750FM-12+048599999V0202701N00461220001CN0500001N9+01111+99999999999
0043012650999991949032418004+62300+010750FM-12+048599999V0202701N00461220001CN0500001N9+00781+99999999999
4.2 用网上max_temperature sample
#include "hadoop/Pipes.hh"
#include "hadoop/TemplateFactory.hh"
#include "hadoop/StringUtils.hh"
#include <algorithm>
#include <limits>
#include <stdint.h>
#include <string>
#include <stdio.h>
class MaxTemperatureMapper: public HadoopPipes::Mapper {
public:
MaxTemperatureMapper(HadoopPipes::TaskContext& context){}
void map(HadoopPipes::MapContext& context)
{
std::string line=context.getInputValue();
std::string year=line.substr(15,4);
std::string airTemperature=line.substr(87,5);
std::string q=line.substr(92,1);
if(airTemperature != "+9999" && (q == "0" || q == "1" || q == "4" || q == "5" || q == "9"))
{
context.emit(year, airTemperature);
}
}
};
class MapTemperatureReducer: public HadoopPipes::Reducer {
public:
MapTemperatureReducer(HadoopPipes::TaskContext& context){}
void reduce(HadoopPipes::ReduceContext& context)
{
int maxValue=0;
while(context.nextValue())
{
maxValue=std::max(maxValue,HadoopUtils::toInt(context.getInputValue()));
}
context.emit(context.getInputKey(),HadoopUtils::toString(maxValue));
}
};
int main()
{
return HadoopPipes::runTask(HadoopPipes::TemplateFactory<MaxTemperatureMapper,MapTemperatureReducer>());
}
4.3 设置Makefile或者VIM自带设置
CC=g++
PLATFORM=Linux-amd64-64
HADOOP_INSTALL=/opt/hadoop
CPPFLAGS = -m64 -I/usr/local/include
max_temperature: maxtemperature.cpp
$(CC) $(CPPFLAGS) $< -Wall -L/usr/local/lib -lhadooppipes -lcrypto -lhadooputils -lpthread -g -O2 -o $@
==
52 "======================
53 "F5 Compile c
54 "======================
55 map <F5> :call Compilepp()<CR>
56 func! Compilepp()
57 if &filetype == 'cpp'
58 exec "w"
59 exec "! clear;
60 \ echo Compiling: ./% ...;
61 \ echo ;
62 \ g++ % -g -lstdc++ -L/usr/local/lib -lhadooppipes -lcrypto -lhadooputils -lpthread -o %<.o;
63 \ echo Complie Done;
64 \ echo Start Testing;
65 \ echo ;
66 \ echo ;
67 \ echo ;
68 \ ./%<.o;"
69 endif
70 endfunc
==
4.4 开始实验
hadoop dfs -rmr output
hadoop dfs -rm bin/max_temperature
hadoop dfs -put max_temperature bin/max_temperature
haddop dfs -put sample.txt sample.txt
hadoop pipes -D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true -input sample.txt -output output -program bin/max_temperature
大致基本上就是这样了，对重新编译一事，wiki也没有多说什么，也是从别家了解到一些信息，在此要感谢某位前辈。
最后再附上一张我自己理解的MP流程图供参考
