07 2013 档案
摘要:你知道那种代码在跑,你却不知道下面在干什么的感受! 这句话触动太大了哈。早年汇编程序员过渡C时,发现C语言对于机器抽象太过于猛烈。想当年那些寄存器运算、内存寻址、访问磁盘io多多少少还有些冯诺依曼结构的影子,再看如今C语言遍地的数组、指针操作已经完全把计算机体系映射到完整的数学逻辑操作。汇编程序员一...
阅读全文
摘要:最近写多了HiveSQL,今天偶尔改了一个很老的java程序,突然想到SQL到底是不是一种OO的语言?按照历史来说,SQL应该和OO几乎是出生于同一个年代,我无法得知发明SQL的人是否借鉴了OO,或者想出OO的人是否吸纳了SQL的精髓,但是某一些容易被人忽略的东西还是可以印证这两个东西的相似性!OO...
阅读全文
摘要:标题是一篇文章,为新华社记者杨明所写,文中讨论了中国在亚运会团购金牌的事,认为泱泱中华不应该再以金牌论英雄,而需将竞技体育转移到全民运动中来,让全社会都来热爱体育,热爱运动。引用此文,不是在此讨论体育,而是因为前些天巴真同学的拍砖引起了我的一些想法!为什么会有这么多想法?因为本人活到现在还没有人在我...
阅读全文
摘要:1、进入hive/conf目录下,修改hive-default.xml: @baidu, I 修改的是 hive-site.xml hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://192.168.0.121:...
阅读全文
摘要:http://blog.csdn.net/superye1983Hive的安装其实很简单下载tar包解压,然后配置一下HIVE_HOME和系统PATH就可以了然后运行hiveLogging initialized using configuration in jar:file:/home/kira/...
阅读全文
摘要:锐神安装mysql的大体步骤mv mysql-5.0.45.tar.gz ./local/tar -zxvf mysql-5.0.45.tar.gzmake clean./configure --prefix=/home/users/zhujunqing01/local/mysql --with-x...
阅读全文
摘要:翻译自https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY(H...
阅读全文
摘要:这里罗列常用操作,更多参考https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable简单的创建表create table tab...
阅读全文
摘要:scpscp -r work@db-testing-ecom198.vm.baidu.com:/home/work/SoftWare/hadoop-client /home/work/libin/hadoop_prac/job/传目录用 scp -r 传文件用 scp
阅读全文
摘要:输入文件:20130712000000格式:packageid\truleid\tpid\tuserid\tshw\tclk\tprice\ttime输入文件: ./cache_data/0-9格式为:userid\t客服id\t运营单位。其中0文件里存放的是所有userid%10=0的数据,5文件...
阅读全文
摘要:Number(数字) 包括int,long,float,double,complexString(字符串) 例如:hello,"hello",helloList(列表) 例如:[1,2,3],[1,2,3,[1,2,3],4]Dictionary(字典) 例如:{1:"nihao",2:"hello...
阅读全文
摘要:利用SecureCRT上传、下载文件(使用sz与rz命令) 借助securtCRT,使用linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器。 其中,对于sz和rz的理解与记忆我用了如下的方法(很多时候容易搞混): sz中的s意为send(发送),告诉客户...
阅读全文
摘要:robby_map.py.bak #!/bin/python#encoding=utf-8import sysimport osimport timeMAP_COUNT=23def map_process(istream, ostream) :# print "HERE" if (len(sys...
阅读全文
摘要:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据...
阅读全文
摘要:Hadoop Streaming中的大文件和档案任务使用-cacheFile和-cacheArchive选项在集群中分发文件和档案,选项的参数是用户已上传至HDFS的文件或档案的URI。这些文件和档案在不同的作业间缓存。用户可以通过fs.default.name.config配置参数的值得到文件所在...
阅读全文
摘要:streaming把reduce的输出作为一个任务的最终输出,输出文件形如: part-00000、part-00001…… 文件个数为reduce任务个数但是,有的时候,我们有多路输出的需求,eg:一部分数据作为下一个mapreduce任务的输入,另一部分数据直接供下游任务抓取,此时,我们就需要使...
阅读全文
摘要:1 动态语言和静态语言 通常我们所说的动态语言、静态语言是指动态类型语言和静态类型语言。 1 动态类型语言:动态类型语言是指在运行期间才去做数据类型检查的语言,也就是说,在用动态类型的语言编程时,永远也不用给任何变量指定数据类型,该语言会在你第一次赋值给变量时,在内部将数据类型记录下来。Pytho...
阅读全文
摘要:# File name : reversargsimport sysargs = sys.argv[1:]print argsargs.reverse()#print args.reverse()print ' '.join(args)[work]$ python reverseargs.py 1 ...
阅读全文
摘要:来自论坛 : (不保证正确性) 有区别吧,一个是类构造,一个是内建函数,虽然open的实现可能就和下面的差不多 def open(filename, mode='r'): return file(filename, mode) 它说地很清楚了,推荐使用open可能linux环境对file支持不好...
阅读全文
摘要:python中的os模块可以用来编写于平台无关的一些文件系统操作。主要的方法如下:一些标记属性os.linesep 文件中分割行的字符串os.sep文件路径名的分隔符os.curdir当前工作目录的字符串名称os.pardir父目录字符串名称常用方法os.remove()删除文件os.rename(...
阅读全文
摘要:python字典排序dic = {'a':31, 'bc':5, 'c':3, 'asd':4, '33':56, 'd':0}想把dic的value按照从大到小排序(value都是整数)。写法如下:sorted(dic.iteritems(), key=lambda d:d[1], reverse...
阅读全文
摘要:items()返回的是一个列表,所以当dict很大时会消耗大量内存。在python3中,items()进行了优化,也只返回迭代器,所以取消iteritems方法
阅读全文
摘要:dict1={1:[1,11,111],2:[2,22,222]}dict2={3:[3,33,333],4:[4,44,444]}合并两个字典得到类似 {1:[1,11,111],2:[2,22,222],3:[3,33,333],4:[4,44,444]}方法一:dictMerged1=dict...
阅读全文
摘要:以下的文章是通过介绍Python代码中常用代码的相关介绍,来引出Python代码中os.path常见属性,以及如何判断是否是指定文件类型的相关的介绍。AD:在Python代码的学习中。对于刚刚了解Python代码的人而言。可能在其方面的学习很薄弱,会分不清哪些代码是首先应该牢牢掌握的,那么下面的文章...
阅读全文
摘要:输入一个模块相对来说是一个比较费时的事情,所以Python做了一些技巧,以便使输入模块更加快一些。一种方法是创建 字节编译的文件 ,这些文件以.pyc作为扩展名。字节编译的文件与Python变换程序的中间状态有关(是否还记得Python如何工作的介绍?)。当你在下次从别的程序输入这个模块的时候,.p...
阅读全文
摘要:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。
阅读全文
摘要:>>> dict = { 1 : 2, 'a' : 'b', 'hello' : 'world' }>>> dict.values()['b', 2, 'world']>>> dict.keys()['a', 1, 'hello']>>> dict.items()[('a', 'b'), (1, 2...
阅读全文
摘要:SecureCRT这款SSH客户端软件同时具备了终端仿真器和文件传输功能。比ftp命令方便多了,而且服务器不用再开FTP服务了。rz,sz是便是Linux/Unix同Windows进行ZModem文件传输的命令行工具。 windows端需要支持ZModem的telnet/ssh客户端,Secure...
阅读全文
摘要:repr函数用来取得对象的规范字符串表示。反引号(也称转换符)可以完成相同的功能。注意,在大多数时候有eval(repr(object)) == object。>>> i = []>>> i.append('item')>>> `i`"['item']">>> repr(i)"['item']"基本...
阅读全文