简单,可复制

点点滴滴,尽在文中

  :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2013年1月16日

摘要: Hive 并发模型使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少,我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁,是有用的。这里没有一个直接的需求添加一个API显式获取锁,所以,所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)见名知意,多个共享锁可以同时获取,而排他锁会阻塞其他锁。兼容性列表如下:*Existing LockSXRequested Lock***S*TrueFalseX*FalseFalse对于一些操作,锁的性质 阅读全文
posted @ 2013-01-16 16:06 ggjucheng 阅读(7161) 评论(0) 推荐(0) 编辑

摘要: 虚拟列Hive 0.8.0支持两个虚拟列:INPUT__FILE__NAME, mapper任务的输出文件名。BLOCK__OFFSET__INSIDE__FILE, 当前全局文件的偏移量。对于块压缩文件,就是当前块的文件偏移量,即当前块的第一个字节在文件中的偏移量。简单例子select INPUT__FILE__NAME, key, BLOCK__OFFSET__INSIDE__FILE from src;select key, count(INPUT__FILE__NAME) from src group by key order by key;select * from src wher 阅读全文
posted @ 2013-01-16 11:02 ggjucheng 阅读(2176) 评论(0) 推荐(0) 编辑

摘要: EXPLAIN语法Hive提供EXPLAIN命令,显示查询的执行计划。语法如下:EXPLAIN [EXTENDED] queryEXPLAIN语句使用EXTENDED,提供执行计划关于操作的额外的信息。这是典型的物理信息,如文件名。Hive查询被转换成序列(这是一个有向无环图)阶段。这些阶段可能是mapper/reducer阶段,或者做metastore或文件系统的操作,如移动和重命名的阶段。 EXPLAIN的输出包括三个部分:查询的抽象语法树执行计划计划的不同阶段之间的依赖关系每个场景的描述场景的描述,显示了与元数据相关操作的操作序列。元数据会包括FilterOperator的过滤器表达式, 阅读全文
posted @ 2013-01-16 10:29 ggjucheng 阅读(10007) 评论(0) 推荐(1) 编辑