12 2012 档案
摘要：简介hadoop 支持reduce多路输出的功能，一个reduce可以输出到多个part-xxxxx-X文件中，其中X是A-Z的字母之一，程序在输出对的时候，在value的后面追加"#X"后缀，比如#A，输出的文件就是part-00000-A，不同的后缀可以把key,value输出到不同的文件中，方便做输出类型分类， #X仅仅用做指定输出文件后缀， 不会体现到输出的内容中使用方法启动脚本中需要指定-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat o
阅读全文
摘要：简介在写shell脚本的时候会用到很多的数学运算，简单的一个游标+1 -1， 或者更多一点的浮点运算等，shell中数学计算稍麻烦，我想每个人都试过var=1+1或者var=$xxx+1这类错误。 下面对shell中做数学计算小做总结示例使用expr整数运算> var=1> var=`expr $var + 1`> echo $var2其他的减乘除类似， 要注意乘法中的*号需要做转义\*即可使用bash内建命令let> var=2> let "var=var+1"> echo $var3> let "var=(2+2-1)
阅读全文
摘要：简介shell 中！叫做事件提示符，英文是：Event Designators,可以方便的引用历史命令， 也就是history中记录的命令用法! 当后面跟随的字母不是“空格、换行、回车、=和(”时，做命令替换!n 会引用history中的第n个命令，比如输入！100，就是执行history列表中的第100条命令> history | grep echo1013 2012-12-20 12:24:40 echo ""1014 2012-12-20 12:24:45 echo "22"> !1014 echo "22"22!-
阅读全文
