上一页 1 ··· 19 20 21 22 23 24 25 26 27 ··· 69 下一页
  2017年2月19日
摘要: 【导读】清华“差生”10年奋斗经历:只写事业,不写女人。作者从2004年本科毕业写到2012年,近10年的奋斗经历。反正一字一句看完后,各种反省各种彻悟。不要老去抱怨别人“天时地利人和”,做好当下,后来人或许还会羡慕嫉妒恨你。 我的故事里有三个人:我自己、我大学同宿舍的哥们、我第一个公司的直接领导。 阅读全文
posted @ 2017-02-19 14:13 @ 小浩 阅读(387) 评论(0) 推荐(0) 编辑
  2017年2月16日
摘要: 、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义 阅读全文
posted @ 2017-02-16 00:32 @ 小浩 阅读(3152) 评论(0) 推荐(0) 编辑
摘要: 说明:Hive之cube、rollup,还有窗口函数,在传统关系型数据(Oracle、sqlserver)中都是有的,用法都很相似。 GROUPING SETS GROUPING SETS作为GROUP BY的子句,允许开发人员在GROUP BY语句后面指定多个统计选项,可以简单理解为多条group 阅读全文
posted @ 2017-02-16 00:15 @ 小浩 阅读(529) 评论(0) 推荐(0) 编辑
  2017年2月15日
摘要: order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set 阅读全文
posted @ 2017-02-15 23:46 @ 小浩 阅读(1389) 评论(0) 推荐(0) 编辑
摘要: 本章将介绍如何修改表的属性,如,修改表名,修改列名,添加列,并删除或替换列。 Alter Table 语句 它是在Hive中用来修改的表。 语法 声明接受任意属性,我们希望在一个表中修改以下语法。 Rename To… 语句 下面是查询重命名表,把 employee 修改为 emp。 JDBC 程序 阅读全文
posted @ 2017-02-15 21:49 @ 小浩 阅读(749) 评论(0) 推荐(0) 编辑
摘要: 1、Hive架构与基本组成 下面是Hive的架构图。 图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分: (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive 阅读全文
posted @ 2017-02-15 14:43 @ 小浩 阅读(3824) 评论(0) 推荐(0) 编辑
摘要: 日志记录了程序运行的过程,是一种查找问题的利器。Hive中的日志分为两种1. 系统日志,记录了hive的运行情况,错误状况。2. Job 日志,记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ?在hive/conf/ hive-log4j.properties 文件中记录了Hiv 阅读全文
posted @ 2017-02-15 14:32 @ 小浩 阅读(14201) 评论(0) 推荐(0) 编辑
摘要: 本篇为安装篇较简单:前提:1: 安装了hadoop-1.0.4(1.0.3也可以)正常运行2:安装了hbase-0.94.3, 正常运行接下来,安装Hive,基于已经安装好的hadoop,步骤如下:1:下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将 阅读全文
posted @ 2017-02-15 14:31 @ 小浩 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 对Hive的基本组成进行了总结: 1、组件: 元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动(Driver )- 控制 HiveQL 生命周期的组件,当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器(Query C 阅读全文
posted @ 2017-02-15 14:29 @ 小浩 阅读(2075) 评论(0) 推荐(0) 编辑
摘要: 阅读本文章可以带着下面问题:1.与传统数据库对比,找出他们的区别2.熟练写出增删改查(面试必备)创建表:hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the 阅读全文
posted @ 2017-02-15 14:27 @ 小浩 阅读(807) 评论(0) 推荐(0) 编辑
上一页 1 ··· 19 20 21 22 23 24 25 26 27 ··· 69 下一页