天晴如许

在网站数据采集和网站分析行业,让数据采集标准化和自动化;由海量日志基于hadoop分析到实时分析;提供Web Analytics工具发挥数据运营威力。

导航

2011年12月9日 #

IP校验shell脚本

摘要: #!/bin/shgetadress(){ #input: ip output: province name if [ -n $1 ] then ip=$1 # get ip mapping addres from cz88 wget -q http://www.cz88.net/ip/?ip=$ip cz88_filename=index.html\?ip\=$ip cz88_result=`grep -i "InputIPAddrMessage" $cz88_filename | awk -F 'InputIPAddrMessage\">| &# 阅读全文

posted @ 2011-12-09 00:45 天晴如许 阅读(615) 评论(0) 推荐(0) 编辑

2011年12月7日 #

编写Shell代码规范

摘要: 引用:http://opkeep.com/program/shell-rule.html随着写的SHELL程序越来越多,发现自己每次写都有不同的习惯或者定义了不同的东西,变量名定义得不一样,整个程序缩进不统一,没有注释等问题,等我回过头看这些程序的时候发现很麻烦。所以写了个shell代码规范。1.1 目的定义Shell脚本命名和编码规范,统一管理Shell脚本,便于自己和别人查看,提高代码书写速度和美观,暂时只对自己进行约束,其它人只供参考。1.2 开发工具shell脚本是个文件,没有开发环境,FC4图形环境下,可用gedit、vi、vim、joe等,推荐使用vim因为这个最通用,他的功能同样 阅读全文

posted @ 2011-12-07 15:50 天晴如许 阅读(810) 评论(0) 推荐(0) 编辑

2011年11月28日 #

hadoop面试时可能遇到的问题,你能回答出几个 ?

摘要: 面试hadoop可能被问到的问题,你能回答出几个 ?1、hadoop运行的原理?2、mapreduce的原理?3、HDFS存储的机制?4、举一个简单的例子说明mapreduce是怎么来运行的 ?5、面试的人给你出一些问题,让你用mapreduce来实现? 比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。6、hadoop中Combiner的作用?Src: http://p-x1984.javaeye.com/blog/859843Q1. Name the most common InputFormats defined inHadoop? 阅读全文

posted @ 2011-11-28 00:06 天晴如许 阅读(872) 评论(0) 推荐(0) 编辑

Linux命令之sort的使用

摘要: linux下sort命令使用详解---linux将文本文件内容加以排序命令时间:2010-06-10 21:06来源:未知 作者:Linux安全网点击: 372 次功能说明:将文本文件内容加以排序。 语 法: sort [-bcdfimMnr][-o输出文件][-t分隔字符][+起始栏位-结束栏位][--help][--verison][文件] 补充说明:sort可针对文本文件的内容,以行为单位来排序。 参 数: -b忽略每行前面开始出的空格字符。 -c检查文件是功能说明:将文本文件内容加以排序。语 法:sort[-bcdfimMnr][-o<输出文件>][-t<分隔字符&g 阅读全文

posted @ 2011-11-28 00:02 天晴如许 阅读(465) 评论(0) 推荐(0) 编辑

玩转shell之符号篇

摘要: Shell定义变量:Shell定义变量分为参数变量和状态变量两类,这类变量中的大部分只能被用户读取,而不能用普通的方式对它们重置值,故也称只读Shell变量。1.Shell参数变量$0 命令名。在Shell程序内可以用$0获得调用该程序的名字。$1,$2... Shell程序的位置参量(Csh除了可取这种形式外,还能用$argv[n]表示)。$# 位置参量的个数,不包括命令名(C sh:$#argv)。$* 所有位置参量,即相当于$1,$2,.........。$@ 与$*基本相同,但当用双引号转义时,“$@”还能分解成多个参数,但“$*”则合并成一个参数。如Shell程序有两个参数file1 阅读全文

posted @ 2011-11-28 00:01 天晴如许 阅读(419) 评论(0) 推荐(0) 编辑

Oracle字符串函数

摘要: 这些函数全都接收的是字符族类型的参数(CHR除外)并且返回字符值.除了特别说明的之外,这些函数大部分返回VARCHAR2类型的数值.字符函数的返回类型所受的限制和基本数据库类型所受的限制是相同的。字符型变量存储的最大值:VARCHAR2数值被限制为2000字符(ORACLE 8中为4000字符)CHAR数值被限制为255字符(在ORACLE8中是2000)long类型为2GBClob类型为4GB1、CHR语法: chr(x)功能:返回在数据库字符集中与X拥有等价数值的字符。CHR和ASCII是一对反函数。经过CHR转换后的字符再经过ASCII转换又得到了原来的字符。使用位置:过程性语句和SQL 阅读全文

posted @ 2011-11-28 00:00 天晴如许 阅读(581) 评论(0) 推荐(0) 编辑

2011年11月27日 #

值得细读的博客

摘要: 围绕“面试”、“算法”、“编程”三个主题:http://blog.csdn.net/v_JULY_vshell方面总结的比较好:http://www.cnblogs.com/stephen-liu74/archive/2011/11/01/2202027.html程序人生方面:http://syc001.iteye.com/blog/1297741http://www.iteye.com/topic/1118807CMD命令大全http://daojin.iteye.com/blog/1300709http://www.iteye.com/topic/1118798http://java-mz 阅读全文

posted @ 2011-11-27 23:55 天晴如许 阅读(162) 评论(0) 推荐(0) 编辑

AWK手册

摘要: awk 手册 简体中文版由bones7456 (bones7456@gmail.com)整理.原文:应该是 http://phi.sinica.edu.tw/aspac/reports/94/94011/ 但是原文很乱.说明:之前也是对awk几乎一无所知,无意中看到这篇文章,网上一搜,居然没有像样的简体中文版.有的也是不怎么完整,或者错误一大堆的.于是就顺手整理了下这篇文章.通过整理这篇文章,自己也渐渐掌握了awk的种种用法.原文可能比较老,有些目前已经不适用的命令有所改动,文中所有命令均在ubuntu7.04下调试通过,用的awk是mawk.由于本人能力有限,错误和不妥之处在所难免,欢迎多多 阅读全文

posted @ 2011-11-27 23:00 天晴如许 阅读(359) 评论(0) 推荐(0) 编辑

shell 字符串操作(长度,查找,替换)详解

摘要: #################################################### 工作中字符串操作举例 #########################################filename='/home/admin/jobs/CnClickstat/DFSLoader/loader.cfg'#下面是使用shell字符串操作buName1=${filename#*/jobs/} #去除'/home/admin/jobs/CnClickstat/DFSLoader/loader.cfg'前缀得到'CnClickstat/ 阅读全文

posted @ 2011-11-27 22:53 天晴如许 阅读(597) 评论(0) 推荐(0) 编辑

Oracle正则表达式

摘要: Oracle正则表达式(regularexpression)元字符字符含义举例说明^匹配字符串的开始位置(在[]中使用,此时它表示不接受该字符集合。^a:匹配以a开始的字符串[^a]:匹配不含a的字符串-当使用在a-m表示范围;当使用在第一个字符时表示连字符串,如[-abc]$匹配字符结束位置‘a$’:匹配以a结束的字符串.匹配除换行符 n之外的任何单字符。?匹配前面的子表达式零次或一次tr(y(ing)?):可以表示try或者trying*匹配前面的子表达式零次或多次+匹配前面的子表达式一次或多次()标记一个子表达式的开始和结束位置a(b)*可以匹配ab,abb,abbb,youabb(c| 阅读全文

posted @ 2011-11-27 22:51 天晴如许 阅读(2437) 评论(0) 推荐(0) 编辑