Coding_Now - 博客园

2018年8月14日

摘要： 0.创建数据库 hive>create table hive.test(id int); hive>load data local inpath '/home/hyxy/test_order.txt' into table hive.test; 1.order by 全局排序 hive>select 阅读全文

posted @ 2018-08-14 13:07 Coding_Now 阅读(2431) 评论(0) 推荐(0) 编辑

Hive的表操作

摘要：表的修改 1.alter table 修改表的元数据： a.修改表名称 hive>alter table student rename to student1; b.修改表分区 hive>alter table hive.logs add partition (dt='2018-9-1',count 阅读全文

posted @ 2018-08-14 12:54 Coding_Now 阅读(872) 评论(0) 推荐(0) 编辑

Hive的分桶

摘要：含义：实质是将数据分成不同的文件。hive中的分桶和hadoop中的reduce个数相同。首先设置采用分桶： hive>set hive.enforce.bucketing=true; hive>create table buckets_users(id int,name string) clus 阅读全文

posted @ 2018-08-14 12:32 Coding_Now 阅读(238) 评论(0) 推荐(0) 编辑

2018年8月13日

Hive的数据类型

摘要： hive的基本数据类型 1.基本数据类型 hive类型说明 java类型实例 1).tinyint 1byte有符号的整数 byte 20 2).smalint 2byte有符号的整数 short 20 3).int 4byte有符号的整数 int 20 4).bigint 8byte有符号的整阅读全文

posted @ 2018-08-13 15:31 Coding_Now 阅读(10884) 评论(0) 推荐(0) 编辑

Hive的搭建和命令行

摘要： 1.安装MySql，参照上篇博文 2.修改hive的配置文件 a.{HIVE_HOME/conf}目录下，复制hive-env.sh.template $>cp hive-env.sh.template hive-env.sh $>gedit hive-env.sh 添加：【 export HADO 阅读全文

posted @ 2018-08-13 14:55 Coding_Now 阅读(369) 评论(0) 推荐(0) 编辑

Hive安装MySql

摘要： yum安装1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_64 3.验证删除是否成功！ $>y 阅读全文

posted @ 2018-08-13 14:44 Coding_Now 阅读(1373) 评论(0) 推荐(0) 编辑

Hive的架构和工作流程

摘要：架构 1.hive是数据仓库，在hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计，查询和简单的分析操作。 2.hive不是 a.关系型数据库 b.OLTP c.实时查询和行级更新操作 3.hive特点 a.表模型存储在database(关系型)中，处理的数据存储在HDFS 阅读全文

posted @ 2018-08-13 14:23 Coding_Now 阅读(2301) 评论(0) 推荐(1) 编辑

Hive的定义及搭建

摘要： 1.定义 Apache Hive数据仓库软件便于读，写和管理大型数据集驻留在分布式存储使用SQL。结构可以投影到存储中的数据上。客户端的连接方式可采用：command line 和 JDBC Driver。注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念。 2.搭建Hive 阅读全文

posted @ 2018-08-13 14:05 Coding_Now 阅读(229) 评论(0) 推荐(0) 编辑

2018年8月4日

HBase API操作

摘要： 1.搭建开发环境 a.创建java工程 b.导HBase相关开发jar，关注版本 c.将集群配置文件添加至工程中，配置环境包括:{core-site.xml,hdfs-site.xml,hbase-site.xml} d.编写HBaseTool工具类 -->创建命名空间 -->删除命名空间 -->创阅读全文

posted @ 2018-08-04 10:52 Coding_Now 阅读(241) 评论(0) 推荐(0) 编辑

HBase相关概念简介

摘要： 1.Configuration描述 HBase采用hadoop中的Configuration对象来加载配置文件信息 2.HMaster作用 a.监控集群中所有的regionserver b.对元数据进行管理 c.通常情况下，HMaster和NameNode在一个节点上 d.管理regionserve 阅读全文

posted @ 2018-08-04 10:41 Coding_Now 阅读(342) 评论(0) 推荐(0) 编辑

Code_exploration

程序人生，走向人生巅峰

公告