代码改变世界

随笔档案-2013年2月21日

Hive原理与不足

2013-02-21 14:47 by java20130722, 275 阅读, 收藏,
摘要: 转自:http://blog.csdn.net/wind5shy/article/details/8560059架构UI:用户提交查询请求与获得查询结果。包括三个接口:命令行(CLI)、Web GUI(Hue)和客户端。Driver:接受查询请求与返回查询结果。实现了session的概念,以处理和提供基于JDBC/ODBC执行以及颉取的API。Compiler: 编译器,分析查询SQL语句,在不同的查询块和查询表达式上进行语义分析,并最终通过从metastore中查找表与分区的元信息生成执行计划。Metastore:元数据储存,元数据存储在MySQL或derby等数据库中。元数据包括Hive各 阅读全文

hive 三种启动方式及用途

2013-02-21 14:34 by java20130722, 700 阅读, 收藏,
摘要: 1, hive命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive –service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似2,hiveweb界面的启动方式,hive –service hwi 用于通过浏览器来访问hive,感觉没多大用途3, hive远程服务 (端口号10000) 启动方式, hive –service hiveserver& 用java等程序实现通过jdbc等驱动的访问hive就用这种起动方式了,这个是程序员最需要的方式了 也可以自己指定端口 hive --service hiveserver -... 阅读全文

hive中UDF和UDAF使用说明

2013-02-21 14:26 by java20130722, 368 阅读, 收藏,
摘要: Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb)内存中的数据格式:Java Integer/String, Hadoop IntWritable/Textc)用户提供的map/reduce脚本:不管什么语言,利用stdin/stdout传输数据d)用户自定义函数: Substr, Trim, 1 – 1e)用 阅读全文