2016年8月21日
HIVE语法
摘要： HIVE语法 0.数据类型 TINYINT - byte SMALLINT - short INT - int BIGINT - long BOOLEAN - boolean FLOAT - float DOUBLE - double STRING - String TIMESTAMP - Time 阅读全文
posted @ 2016-08-21 00:01 周蓬勃 阅读(297) 评论(0) 推荐(0) 编辑
HIVE外部表 分区表
摘要： HIVE外部表 分区表 外部表 创建hive表，经过检查发现TBLS表中，hive表的类型为MANAGED_TABLE. 在真实开发中，很可能在hdfs中已经有了数据，希望通过hive直接使用这些数据作为表内容。 此时可以直接创建出hdfs文件夹，其中放置数据，再在hive中创建表管来管理，这种方式 阅读全文
posted @ 2016-08-21 00:00 周蓬勃 阅读(3018) 评论(1) 推荐(0) 编辑
2016年8月20日
HIVE配置mysql metastore
摘要： HIVE配置mysql metastore hive中除了保存真正的数据以外还要额外保存用来描述库、表、数据的数据，称为hive的元数据。这些元数据又存放在何处呢？ 如果不修改配置hive默认使用内置的derby数据库存储元数据。 derby是apache开发的基于java的文件型数据库。 可以检查 阅读全文
posted @ 2016-08-20 23:59 周蓬勃 阅读(4091) 评论(0) 推荐(0) 编辑
HIVE入门
摘要： HIVE入门 $show databases; 执行后发现默认有一个库default $show tables; 发现没有任何表，证明不use其他库时，默认就是default库。 $create database tedu; 发现在hdfs中多出了/user/hive/warehouse/tedu. 阅读全文
posted @ 2016-08-20 23:58 周蓬勃 阅读(345) 评论(0) 推荐(0) 编辑
HIVE的安装配置
摘要： HIVE的安装配置 首先需要hadoop的支持，启动好hadoop 下载：从apache官网下载新版本hive，要注意和hadoop版本的匹配。 支持： 需要对应版本jdk的支持 需要安装并运行hadoop 安装： 将下载好的hive安装包上传到linux中。 解压：tar -zxvf apache 阅读全文
posted @ 2016-08-20 23:57 周蓬勃 阅读(228) 评论(0) 推荐(0) 编辑
Hive概述
摘要： HIVE是什么 开发调试麻烦 只能用java开发 需要对hadoop的底层及api比较了解才能开发复杂代码 HQL Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成 阅读全文
posted @ 2016-08-20 23:56 周蓬勃 阅读(203) 评论(0) 推荐(0) 编辑
java api操作
摘要： java api操作 导入开发包 将hbase安装包中lib下包导入java项目 创建表 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "CentOS01:2181,CentO 阅读全文
posted @ 2016-08-20 23:54 周蓬勃 阅读(416) 评论(0) 推荐(0) 编辑
Hbase安装配置
摘要： 二、安装配置HABSE HBase-0.92.x HBase-0.94.x HBase-0.96 Hadoop-0.20.205 S X X Hadoop-0.22.x S X X Hadoop-1.0.x S S S Hadoop-1.1.x NT S S Hadoop-0.23.x X S NT 阅读全文
posted @ 2016-08-20 23:53 周蓬勃 阅读(280) 评论(0) 推荐(0) 编辑
HBASE概念补充
摘要： HBASE概念补充 HBase的工作方式： hbase中的表在行的方向上分隔为多个HRegion，分散在不同的RegionServer中 这样做的目的是在查询时可以将工作量分布到多个RegionServer中以提高速度 region由[startkey,endkey)表示 HRegion是hbase 阅读全文
posted @ 2016-08-20 23:53 周蓬勃 阅读(388) 评论(0) 推荐(0) 编辑
Hbase概述
摘要： 一、HBASE概述 Hadoop Database NoSQL 面向列 提供实时更新查询 。。。。 是一个高可靠性 高性能 面向列 可伸缩的分布式存储系统 利用hbase技术可以在廉价的PC上搭建起大规模结构化存储集群。 HBase利用HadoopHDFS作为其文件存储系统，利用Hadoop的Map 阅读全文
posted @ 2016-08-20 23:52 周蓬勃 阅读(255) 评论(0) 推荐(0) 编辑