2015年9月14日

hive 面试题 转载

摘要: 转自:http://blog.csdn.net/ningguixin/article/details/12852051有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATETABLETRLOG(PLATFORMstring,USER_IDint,CLICK_TIMEstring,CLI... 阅读全文

posted @ 2015-09-14 17:47 ggbond1988 阅读(1371) 评论(0) 推荐(0) 编辑

2015年9月10日

java中的类实现comparable接口 用于排序

摘要: import java.util.Arrays;public class SortApp { public static void main(String[] args) { Student[] stus = new Student[3]; stus[0] = new Student(11, 9... 阅读全文

posted @ 2015-09-10 15:05 ggbond1988 阅读(265) 评论(0) 推荐(0) 编辑

shell 中awk、if while 例子

摘要: 1、if while命令写在一行中while read a b;do echo $a $b;done < aa.txt12 13 14cat aa.txt12 13 14if [[ $i -eq 0 || $i -eq 2 ]] ;then env=10.79.40.146:80 ;else env... 阅读全文

posted @ 2015-09-10 11:27 ggbond1988 阅读(1360) 评论(0) 推荐(0) 编辑

Java 分割文件 注意事项

摘要: public static void main(String args[]) throws Exception { if (args.length < 1) { System.exit(0); } //System.out.println(args[0]); BufferedInputSt... 阅读全文

posted @ 2015-09-10 11:26 ggbond1988 阅读(109) 评论(0) 推荐(0) 编辑

InputFormat 总结

摘要: 在mr中的输入类,常见的InputFormat是TextInputFormat,也是mr默认的文件处理类,处理普通文本文件,作用是1 每一行作为一个记录,将每一行在文件中的起始偏移量做为key,内容作为value2 默认以\n或者是回车作为一行的记录在实际应用中还有其他总要的输入类,他们继承于父类 ... 阅读全文

posted @ 2015-09-10 10:55 ggbond1988 阅读(291) 评论(0) 推荐(0) 编辑

MapReduce 中job.setJarByClass()方法的疑惑

摘要: 在调试mr实例的时候,遇到如下的情况,如图所示说明:就是我的mr程序类名称和我设置的setJarByclass()中设置的不一样,但是程序竟然没有报错!!!!当时把我吓尿了疑惑:如果这样设置的话,那岂不是找不到的main方法了啊?最后查看setJarByClass()方法,惊奇的发现在 JobCon... 阅读全文

posted @ 2015-09-10 10:30 ggbond1988 阅读(8389) 评论(0) 推荐(1) 编辑

2015年9月8日

cdh5.4、cm5.4 安装详细步骤

摘要: 安装准备:1、centos6.5 64位 虚拟机,内存分配4G、硬盘位20G2、cm5.4 cdh5.4 包安装步骤一、centos安装完后,进行系统配置1、关闭防火墙service iptables stop设置防火墙不随开机启动chkconfig iptables off查看iptables 状... 阅读全文

posted @ 2015-09-08 23:36 ggbond1988 阅读(889) 评论(0) 推荐(0) 编辑

2015年9月4日

求相同号码一天内的上网流量——mapreduce

摘要: hadoop mapreduce 在统计数据中的应用 阅读全文

posted @ 2015-09-04 10:22 ggbond1988 阅读(686) 评论(0) 推荐(0) 编辑

2015年5月12日

scala初学

摘要: 起因:新公司的程序用scala,为了不落后,不落伍,跟上时代的浪潮,咱们测试也得学学新东西适合读者:有java经验的IT人士scala:所有变量都是对象,所有操作都是方法1、定义变量:变量:类型,如:res:String,scala 有两种类型的变量,val 和var val是不可变的,var 是变... 阅读全文

posted @ 2015-05-12 15:55 ggbond1988 阅读(124) 评论(0) 推荐(0) 编辑

2015年5月9日

对web日志文件实现按照人员、行为分类

摘要: 日志格式:method,time,namein,2015-05-06 17:37:46,Jenny1out,2015-05-06 17:37:46,Judith1in,2015-05-06 17:37:46,Lee1in,2015-05-06 17:37:59,Crystal1out,2015-05... 阅读全文

posted @ 2015-05-09 19:36 ggbond1988 阅读(160) 评论(0) 推荐(0) 编辑

导航