摘要： 简介hadoop 支持reduce多路输出的功能，一个reduce可以输出到多个part-xxxxx-X文件中，其中X是A-Z的字母之一，程序在输出对的时候，在value的后面追加"#X"后缀，比如#A，输出的文件就是part-00000-A，不同的后缀可以把key,value输出到不同的文件中，方便做输出类型分类， #X仅仅用做指定输出文件后缀， 不会体现到输出的内容中使用方法启动脚本中需要指定-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat o 阅读全文

摘要： 简介在写shell脚本的时候会用到很多的数学运算，简单的一个游标+1 -1， 或者更多一点的浮点运算等，shell中数学计算稍麻烦，我想每个人都试过var=1+1或者var=$xxx+1这类错误。 下面对shell中做数学计算小做总结示例使用expr整数运算> var=1> var=`expr $var + 1`> echo $var2其他的减乘除类似， 要注意乘法中的*号需要做转义\*即可使用bash内建命令let> var=2> let "var=var+1"> echo $var3> let "var=(2+2-1) 阅读全文