摘要：
利用SecureCRT上传、下载文件（使用sz与rz命令） 借助securtCRT，使用linux命令sz可以很方便的将服务器上的文件下载到本地，使用rz命令则是把本地文件上传到服务器。 其中，对于sz和rz的理解与记忆我用了如下的方法（很多时候容易搞混）： sz中的s意为send（发送），告诉客户... 阅读全文
摘要：
robby_map.py.bak #!/bin/python#encoding=utf-8import sysimport osimport timeMAP_COUNT=23def map_process(istream, ostream) :# print "HERE" if (len(sys... 阅读全文
摘要：
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据... 阅读全文
摘要：
Hadoop Streaming中的大文件和档案任务使用-cacheFile和-cacheArchive选项在集群中分发文件和档案，选项的参数是用户已上传至HDFS的文件或档案的URI。这些文件和档案在不同的作业间缓存。用户可以通过fs.default.name.config配置参数的值得到文件所在... 阅读全文
摘要：
streaming把reduce的输出作为一个任务的最终输出，输出文件形如： part-00000、part-00001…… 文件个数为reduce任务个数但是，有的时候，我们有多路输出的需求，eg：一部分数据作为下一个mapreduce任务的输入，另一部分数据直接供下游任务抓取，此时，我们就需要使... 阅读全文
摘要：
1 动态语言和静态语言 通常我们所说的动态语言、静态语言是指动态类型语言和静态类型语言。 1 动态类型语言：动态类型语言是指在运行期间才去做数据类型检查的语言，也就是说，在用动态类型的语言编程时，永远也不用给任何变量指定数据类型，该语言会在你第一次赋值给变量时，在内部将数据类型记录下来。Pytho... 阅读全文
摘要：
# File name : reversargsimport sysargs = sys.argv[1:]print argsargs.reverse()#print args.reverse()print ' '.join(args)[work]$ python reverseargs.py 1 ... 阅读全文
摘要：
来自论坛 ： (不保证正确性) 有区别吧，一个是类构造，一个是内建函数，虽然open的实现可能就和下面的差不多 def open(filename, mode='r'): return file(filename, mode) 它说地很清楚了，推荐使用open可能linux环境对file支持不好... 阅读全文
摘要：
python中的os模块可以用来编写于平台无关的一些文件系统操作。主要的方法如下：一些标记属性os.linesep 文件中分割行的字符串os.sep文件路径名的分隔符os.curdir当前工作目录的字符串名称os.pardir父目录字符串名称常用方法os.remove()删除文件os.rename(... 阅读全文
摘要：
python字典排序dic = {'a':31, 'bc':5, 'c':3, 'asd':4, '33':56, 'd':0}想把dic的value按照从大到小排序（value都是整数）。写法如下：sorted(dic.iteritems(), key=lambda d:d[1], reverse... 阅读全文