摘要: 一、什么是sqoop Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数 阅读全文
posted @ 2016-04-12 23:55 木子小僧 阅读(2046) 评论(0) 推荐(0) 编辑
摘要: 接Hive学习五 http://www.cnblogs.com/invban/p/5331159.html 一、配置环境变量 hive jdbc的开发,在开发环境中,配置Java环境变量 二、配置文件开发 三、创建项目实现hive的jdbc接口 ①配置Connection的Java文件。 ②开发Hi 阅读全文
posted @ 2016-03-29 16:01 木子小僧 阅读(5701) 评论(0) 推荐(0) 编辑
摘要: hive—UDF操作 udf的操作过程: 在HIVE会话中add 自定义函数的jar文件,然后创建function,继而使用函数。 下面就以下面课题为例: 课题:统计每个活动的PV和UV 一、Java通过正则表达式,截取标题名称。 以链接,截取标红的字符串。 http://cms.yhd.com/s 阅读全文
posted @ 2016-03-28 23:12 木子小僧 阅读(15637) 评论(0) 推荐(0) 编辑
摘要: 文件的加载,只需要三步就够了,废话不多说,来直接的吧。 一、建表 话不多说,直接开始。 建表,对于日志文件来说,最后有分区,在此案例中,对年月日和小时进行了分区。 建表tracktest_log,分隔符为“\t”部分: 在hive的default库中,建表,建表语句为: 1 create table 阅读全文
posted @ 2016-03-28 18:38 木子小僧 阅读(1151) 评论(0) 推荐(1) 编辑
摘要: 一、Hive的表 Hive的表分为内部表、外部表和分区表。 1、内部表,为托管表。 2、外部表,external。 3、分区表。 详解: 内部表,删除表的时候,数据会跟着删除。 外部表,在删除表的时候,数据不会跟着删除。 默认分隔符:列 为 \001 行分隔符为 \n 分区表: 1、解决查询效率,不 阅读全文
posted @ 2016-03-24 15:21 木子小僧 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 由于MySQL便于管理,在学习过程中,我选择MySQL。 一,配置元数据库。 1、安装MySQL,采用yum方式。 ①yum install mysql-server,安装mysql服务端,安装服务端的同时,也会把mysql的客户端安装好。 ②数据库字符集设置。 mysql配置文件/etc/my.c 阅读全文
posted @ 2016-03-21 15:31 木子小僧 阅读(1910) 评论(0) 推荐(0) 编辑
摘要: 一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据 阅读全文
posted @ 2016-03-21 10:38 木子小僧 阅读(786) 评论(0) 推荐(0) 编辑
摘要: 练习,就当练习。 省市区三级联动,样式如下图所示: 1,导入两个js文件并且导入数据库文件。 两个js文件分别是jquery-2.1.4.min.js和jquery-1.js,数据库文件,见附件。 2,建一个index.html <div> <label>所在地点</label> <select n 阅读全文
posted @ 2016-03-03 14:09 木子小僧 阅读(4638) 评论(2) 推荐(0) 编辑
摘要: 在计算机科学中,Shell俗称壳(用来区别于核),是指“提供使用者使用界面”的软件(命令解析器)。它类似于DOS下的command和后来的cmd.exe。它接收用户命令,然后调用相应的应用程序。------引用百度百科。 废话不多说,直接来真的。 1,打开SecureCRT,输入命令 vi fris 阅读全文
posted @ 2016-02-29 11:32 木子小僧 阅读(3116) 评论(0) 推荐(0) 编辑
摘要: if($time=="今日"){ $beginToday=mktime(0,0,0,date('m'),date('d'),date('Y')); $endToday=mktime(0,0,0,date('m'),date('d')+1,date('Y'))-1; $begin = Date("Y- 阅读全文
posted @ 2016-01-27 15:05 木子小僧 阅读(1348) 评论(0) 推荐(0) 编辑