摘要：
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 这样我们就 阅读全文
摘要：
方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CREATE TABlE tableex3(id STRING, name STRING) ROW FORMAT SERDE'or 阅读全文
摘要：
一、 收入流失是国内外电信运营商面临的普遍问题之一 伴随着电信运营商所服务的客户基数的持续增长、业务体系的日趋庞杂、业务价值链的不断延伸、营销活动的不断积累和支撑系统压力不断增加，电信运营商在数据流、资金流和工作流上存在疏漏的点可能越来越多，导致收入流失的风险点也像病毒一样逐渐在侵蚀着电信运营商的肌 阅读全文
摘要：
一 ：从一台机到另一台机端口转发 启用网卡转发功能 #echo 1 > /proc/sys/net/ipv4/ip_forward 举例:从192.168.0.132:21521(新端口)访问192.168.0.211:1521端口 a.同一端口转发(192.168.0.132上开通1521端口访问 阅读全文
摘要：
. 当前目录 / 根目录 ~ $HOME目录 反斜杠 \告诉s h e l l该命令尚未结束 touch:创建新文件 chmod u+l filename:l权限，给文件filename加锁,别的用户不能访问此文件 绝对模式：4:读 2：写 1：执行。例如：744 <==> -rwxr--r-- 一 阅读全文
摘要：
Sql代码 select PERIOD_DIFF(date_format(now(),'%Y%m'),date_format('2010-11-30','%Y%m')) Sql代码 Sql代码 1. MySQL 为日期增加一个时间间隔：date_add() Sql代码 set @dt = now() 阅读全文
摘要：
阅读全文
摘要：
1、编写函数 [java] view plaincopyprint?package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public fi 阅读全文
摘要：
网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间 阅读全文
摘要：
通过HQL语句 可以将hive 中表的数据生成到指定的目录。 有时候 我们可以利用hive来生成统计的中间文件（比源文件小的多的） 方法有如下2种： 1.INSERT OVERWRITE LOCAL DIRECTORY 将结果输出到指定的目录： 生成的文件数 和redurcer的数目的一样的 在hi 阅读全文