摘要: HBase与Protobuf 简介 官方文档 什么是 Google Protocol Buffer? 假如您在网上搜索,应该会得到类似这样的文字介绍: Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 4 阅读全文
posted @ 2020-08-10 06:40 shaoyayu 阅读(1033) 评论(0) 推荐(0) 编辑
摘要: HBase API 说明 这里我配置的是HBase-0.98.23-hadoop2,api也是使用的是这个版本的 pom文件 <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client/0.98.23-hadoop2 - 阅读全文
posted @ 2020-08-10 06:39 shaoyayu 阅读(201) 评论(0) 推荐(0) 编辑
摘要: HBase全分布式部署 1、HDFS上的独立HBase 在独立的hbase上有时有用的变体是,所有守护程序都在一个JVM中运行,而不是持久化到本地文件系统,而是持久化到HDFS实例。 当您打算使用简单的部署概要文件时,可以考虑使用此概要文件,虽然负载很轻,但是数据必须在节点间来回移动。写入要复制数据 阅读全文
posted @ 2020-08-10 06:38 shaoyayu 阅读(2026) 评论(0) 推荐(0) 编辑
摘要: Quick Start - Standalone HBase 1、简单配置 选择一个 Apache 下载镜像,下载 HBase Releases. 点击 stable目录,然后下载后缀为 .tar.gz 的文件; 例如 hbase-0.95-SNAPSHOT.tar.gz. 解压缩,然后进入到那个要 阅读全文
posted @ 2020-08-10 06:37 shaoyayu 阅读(319) 评论(0) 推荐(0) 编辑
摘要: HBase架构 HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数 阅读全文
posted @ 2020-08-10 06:35 shaoyayu 阅读(317) 评论(0) 推荐(0) 编辑
摘要: HBase 入门 Hadoop中的HBase ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 简介: 非关系型数据库知识面扩展 Cassandra hbase mongo 阅读全文
posted @ 2020-08-10 06:27 shaoyayu 阅读(140) 评论(0) 推荐(0) 编辑
摘要: Hive 优化 Hive优化 核心思想:把Hive SQL当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain显示执行计划 EXPLAIN [EXTENDED] query Hive抓取策略: Hi 阅读全文
posted @ 2020-08-10 06:24 shaoyayu 阅读(196) 评论(0) 推荐(0) 编辑