07 2013 档案

摘要:你知道那种代码在跑,你却不知道下面在干什么的感受! 这句话触动太大了哈。早年汇编程序员过渡C时,发现C语言对于机器抽象太过于猛烈。想当年那些寄存器运算、内存寻址、访问磁盘io多多少少还有些冯诺依曼结构的影子,再看如今C语言遍地的数组、指针操作已经完全把计算机体系映射到完整的数学逻辑操作。汇编程序员一... 阅读全文
posted @ 2013-07-31 14:01 小尼人00 阅读(95) 评论(0) 推荐(0) 编辑
摘要:最近写多了HiveSQL,今天偶尔改了一个很老的java程序,突然想到SQL到底是不是一种OO的语言?按照历史来说,SQL应该和OO几乎是出生于同一个年代,我无法得知发明SQL的人是否借鉴了OO,或者想出OO的人是否吸纳了SQL的精髓,但是某一些容易被人忽略的东西还是可以印证这两个东西的相似性!OO... 阅读全文
posted @ 2013-07-31 14:00 小尼人00 阅读(145) 评论(0) 推荐(0) 编辑
摘要:标题是一篇文章,为新华社记者杨明所写,文中讨论了中国在亚运会团购金牌的事,认为泱泱中华不应该再以金牌论英雄,而需将竞技体育转移到全民运动中来,让全社会都来热爱体育,热爱运动。引用此文,不是在此讨论体育,而是因为前些天巴真同学的拍砖引起了我的一些想法!为什么会有这么多想法?因为本人活到现在还没有人在我... 阅读全文
posted @ 2013-07-31 13:37 小尼人00 阅读(305) 评论(0) 推荐(0) 编辑
摘要:1、进入hive/conf目录下,修改hive-default.xml: @baidu, I 修改的是 hive-site.xml hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://192.168.0.121:... 阅读全文
posted @ 2013-07-30 16:09 小尼人00 阅读(587) 评论(0) 推荐(0) 编辑
摘要:http://blog.csdn.net/superye1983Hive的安装其实很简单下载tar包解压,然后配置一下HIVE_HOME和系统PATH就可以了然后运行hiveLogging initialized using configuration in jar:file:/home/kira/... 阅读全文
posted @ 2013-07-30 16:05 小尼人00 阅读(191) 评论(0) 推荐(0) 编辑
摘要:锐神安装mysql的大体步骤mv mysql-5.0.45.tar.gz ./local/tar -zxvf mysql-5.0.45.tar.gzmake clean./configure --prefix=/home/users/zhujunqing01/local/mysql --with-x... 阅读全文
posted @ 2013-07-30 11:22 小尼人00 阅读(121) 评论(0) 推荐(0) 编辑
摘要:翻译自https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY(H... 阅读全文
posted @ 2013-07-29 10:03 小尼人00 阅读(177) 评论(0) 推荐(0) 编辑
摘要:这里罗列常用操作,更多参考https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable简单的创建表create table tab... 阅读全文
posted @ 2013-07-29 09:46 小尼人00 阅读(203) 评论(0) 推荐(0) 编辑
摘要:scpscp -r work@db-testing-ecom198.vm.baidu.com:/home/work/SoftWare/hadoop-client /home/work/libin/hadoop_prac/job/传目录用 scp -r 传文件用 scp 阅读全文
posted @ 2013-07-25 11:17 小尼人00 阅读(90) 评论(0) 推荐(0) 编辑
摘要:输入文件:20130712000000格式:packageid\truleid\tpid\tuserid\tshw\tclk\tprice\ttime输入文件: ./cache_data/0-9格式为:userid\t客服id\t运营单位。其中0文件里存放的是所有userid%10=0的数据,5文件... 阅读全文
posted @ 2013-07-25 10:34 小尼人00 阅读(140) 评论(0) 推荐(0) 编辑
摘要:Number(数字) 包括int,long,float,double,complexString(字符串) 例如:hello,"hello",helloList(列表) 例如:[1,2,3],[1,2,3,[1,2,3],4]Dictionary(字典) 例如:{1:"nihao",2:"hello... 阅读全文
posted @ 2013-07-24 17:54 小尼人00 阅读(160) 评论(0) 推荐(0) 编辑
摘要:利用SecureCRT上传、下载文件(使用sz与rz命令) 借助securtCRT,使用linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器。 其中,对于sz和rz的理解与记忆我用了如下的方法(很多时候容易搞混): sz中的s意为send(发送),告诉客户... 阅读全文
posted @ 2013-07-23 17:02 小尼人00 阅读(118) 评论(0) 推荐(0) 编辑
摘要:robby_map.py.bak #!/bin/python#encoding=utf-8import sysimport osimport timeMAP_COUNT=23def map_process(istream, ostream) :# print "HERE" if (len(sys... 阅读全文
posted @ 2013-07-22 22:31 小尼人00 阅读(156) 评论(0) 推荐(0) 编辑
摘要:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据... 阅读全文
posted @ 2013-07-22 14:51 小尼人00 阅读(214) 评论(0) 推荐(0) 编辑
摘要:Hadoop Streaming中的大文件和档案任务使用-cacheFile和-cacheArchive选项在集群中分发文件和档案,选项的参数是用户已上传至HDFS的文件或档案的URI。这些文件和档案在不同的作业间缓存。用户可以通过fs.default.name.config配置参数的值得到文件所在... 阅读全文
posted @ 2013-07-22 14:17 小尼人00 阅读(1019) 评论(0) 推荐(0) 编辑
摘要:streaming把reduce的输出作为一个任务的最终输出,输出文件形如: part-00000、part-00001…… 文件个数为reduce任务个数但是,有的时候,我们有多路输出的需求,eg:一部分数据作为下一个mapreduce任务的输入,另一部分数据直接供下游任务抓取,此时,我们就需要使... 阅读全文
posted @ 2013-07-22 13:33 小尼人00 阅读(829) 评论(0) 推荐(0) 编辑
摘要:1 动态语言和静态语言 通常我们所说的动态语言、静态语言是指动态类型语言和静态类型语言。 1 动态类型语言:动态类型语言是指在运行期间才去做数据类型检查的语言,也就是说,在用动态类型的语言编程时,永远也不用给任何变量指定数据类型,该语言会在你第一次赋值给变量时,在内部将数据类型记录下来。Pytho... 阅读全文
posted @ 2013-07-21 00:36 小尼人00 阅读(150) 评论(0) 推荐(0) 编辑
摘要:# File name : reversargsimport sysargs = sys.argv[1:]print argsargs.reverse()#print args.reverse()print ' '.join(args)[work]$ python reverseargs.py 1 ... 阅读全文
posted @ 2013-07-19 11:47 小尼人00 阅读(224) 评论(0) 推荐(0) 编辑
摘要:来自论坛 : (不保证正确性) 有区别吧,一个是类构造,一个是内建函数,虽然open的实现可能就和下面的差不多 def open(filename, mode='r'): return file(filename, mode) 它说地很清楚了,推荐使用open可能linux环境对file支持不好... 阅读全文
posted @ 2013-07-18 16:47 小尼人00 阅读(227) 评论(0) 推荐(0) 编辑
摘要:python中的os模块可以用来编写于平台无关的一些文件系统操作。主要的方法如下:一些标记属性os.linesep 文件中分割行的字符串os.sep文件路径名的分隔符os.curdir当前工作目录的字符串名称os.pardir父目录字符串名称常用方法os.remove()删除文件os.rename(... 阅读全文
posted @ 2013-07-18 16:32 小尼人00 阅读(144) 评论(0) 推荐(0) 编辑
摘要:python字典排序dic = {'a':31, 'bc':5, 'c':3, 'asd':4, '33':56, 'd':0}想把dic的value按照从大到小排序(value都是整数)。写法如下:sorted(dic.iteritems(), key=lambda d:d[1], reverse... 阅读全文
posted @ 2013-07-17 12:51 小尼人00 阅读(146) 评论(0) 推荐(0) 编辑
摘要:items()返回的是一个列表,所以当dict很大时会消耗大量内存。在python3中,items()进行了优化,也只返回迭代器,所以取消iteritems方法 阅读全文
posted @ 2013-07-16 14:44 小尼人00 阅读(160) 评论(0) 推荐(0) 编辑
摘要:dict1={1:[1,11,111],2:[2,22,222]}dict2={3:[3,33,333],4:[4,44,444]}合并两个字典得到类似 {1:[1,11,111],2:[2,22,222],3:[3,33,333],4:[4,44,444]}方法一:dictMerged1=dict... 阅读全文
posted @ 2013-07-15 19:48 小尼人00 阅读(234) 评论(0) 推荐(0) 编辑
摘要:以下的文章是通过介绍Python代码中常用代码的相关介绍,来引出Python代码中os.path常见属性,以及如何判断是否是指定文件类型的相关的介绍。AD:在Python代码的学习中。对于刚刚了解Python代码的人而言。可能在其方面的学习很薄弱,会分不清哪些代码是首先应该牢牢掌握的,那么下面的文章... 阅读全文
posted @ 2013-07-14 16:23 小尼人00 阅读(225) 评论(0) 推荐(0) 编辑
摘要:输入一个模块相对来说是一个比较费时的事情,所以Python做了一些技巧,以便使输入模块更加快一些。一种方法是创建 字节编译的文件 ,这些文件以.pyc作为扩展名。字节编译的文件与Python变换程序的中间状态有关(是否还记得Python如何工作的介绍?)。当你在下次从别的程序输入这个模块的时候,.p... 阅读全文
posted @ 2013-07-11 20:05 小尼人00 阅读(190) 评论(0) 推荐(0) 编辑
摘要:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。 阅读全文
posted @ 2013-07-11 15:57 小尼人00 阅读(91) 评论(0) 推荐(0) 编辑
摘要:>>> dict = { 1 : 2, 'a' : 'b', 'hello' : 'world' }>>> dict.values()['b', 2, 'world']>>> dict.keys()['a', 1, 'hello']>>> dict.items()[('a', 'b'), (1, 2... 阅读全文
posted @ 2013-07-10 10:57 小尼人00 阅读(121) 评论(0) 推荐(0) 编辑
摘要:SecureCRT这款SSH客户端软件同时具备了终端仿真器和文件传输功能。比ftp命令方便多了,而且服务器不用再开FTP服务了。rz,sz是便是Linux/Unix同Windows进行ZModem文件传输的命令行工具。 windows端需要支持ZModem的telnet/ssh客户端,Secure... 阅读全文
posted @ 2013-07-02 09:01 小尼人00 阅读(119) 评论(0) 推荐(0) 编辑
摘要:repr函数用来取得对象的规范字符串表示。反引号(也称转换符)可以完成相同的功能。注意,在大多数时候有eval(repr(object)) == object。>>> i = []>>> i.append('item')>>> `i`"['item']">>> repr(i)"['item']"基本... 阅读全文
posted @ 2013-07-02 06:10 小尼人00 阅读(330) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示