2018 年 4月随笔档案 - HBase技术社区

一条数据的HBase之旅，简明HBase入门教程-开篇

摘要：常见的HBase新手问题: 什么样的数据适合用HBase来存储? 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉? 存放于HBase中的数据记录，为何不直接存放于HDFS之上? 能否直接使用HBase来存储文件数据? Region(HBase中的数据分片)迁移后，数据是否阅读全文

posted @ 2018-04-27 10:04 HBase技术社区阅读(577) 评论(0) 推荐(0)

HBase数据压缩编码探索

摘要：摘要：本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，只有几百qps的冷数据缓存，却因为存储水位要浪费几十台服务器？你可曾遇到这种需求，几百G的表，必须纯cache命中，性能才能满足业务需求？你可曾遇到，阅读全文

posted @ 2018-04-23 08:39 HBase技术社区阅读(3080) 评论(0) 推荐(0)

HBase2.0新特性之In-Memory Compaction

摘要：In-Memory Compaction是HBase2.0中的重要特性之一，通过在内存中引入LSM结构，减少多余数据，实现降低flush频率和减小写放大的效果。本文根据HBase2.0中相关代码以及社区的讨论、博客，介绍In-Memory Compaction的使用和实现原理。原理概念和数据结构阅读全文

posted @ 2018-04-19 09:04 HBase技术社区阅读(2504) 评论(0) 推荐(0)

Phoenix 索引生命周期

摘要：本文主要介绍Phoenix索引状态的生命周期，帮助大家解惑“为什么我的phoenix索引不能正常使用了？” 索引状态索引总共有以下几个状态，其状态信息存储在SYSTEM.CATALOG表中。可以通过以下SQL来查看所有索引表信息： select TABLE_NAME,DATA_TABLE_NAME 阅读全文

posted @ 2018-04-19 09:00 HBase技术社区阅读(1302) 评论(0) 推荐(0)

HBase在滴滴出行的应用场景和最佳实践

摘要：摘要：主要介绍了HBase和Phoenix在滴滴内部的一些典型案例。文章已在CSDN极客头条和《程序员》杂志发表，应朋友邀请，分享到云栖社区，希望给大家带来启发和帮助。背景对接业务类型 HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的阅读全文

posted @ 2018-04-16 08:06 HBase技术社区阅读(632) 评论(0) 推荐(0)

[Phoenix] 八、动态列

摘要：摘要：传统关系型数据库的动态列实现只能依赖逻辑层的设计实现，而Phoenix是HBase上的SQL层，借助HBase特性实现的动态列功能，具有高度的灵活性，告别业务逻辑层的复杂设计。一、概要动态列是指在查询中新增字段，操作创建表时未指定的列。传统关系型数据要实现动态列目前常用的方法有：设计表结阅读全文

posted @ 2018-04-16 08:02 HBase技术社区阅读(4178) 评论(0) 推荐(0)

[Phoenix] 七、如何使用自增ID

摘要：摘要：在传统关系型数据库中设计主键时，自增ID经常被使用。不仅能够保证主键的唯一，同时也能简化业务层实现。Phoenix怎么使用自增ID，是我们这篇文章的重点。在传统关系型数据库中设计主键时，自增ID经常被使用。不仅能够保证主键的唯一，同时也能简化业务层实现。Phoenix怎么使用自增ID，是我阅读全文

posted @ 2018-04-16 07:59 HBase技术社区阅读(2733) 评论(0) 推荐(0)

[Phoenix] 六、MR在Ali-Phoenix上的使用

摘要：摘要：在云HBASE上利用MR BULKLOAD入库PHOENIX表或通过MR构建PHOENIX索引表。一、MR在Phoenix上的用途利用MR对Phoenix表（可带有二级索引表）进行Bulkload入库, 其原理是直接生成主表（二级索引表）的HFILE写入HDFS。相对于走API的数据导入阅读全文

posted @ 2018-04-16 07:55 HBase技术社区阅读(701) 评论(0) 推荐(0)

[Phoenix] 五、二级索引

摘要：摘要：目前HBASE只有基于字典序的主键索引，对于非主键过滤条件的查询都会变成扫全表操作，为了解决这个问题Phoenix引入了二级索引功能。然而此二级索引又有别于传统关系型数据库的二级索引，本文将详细描述Phoenix中二级索引功能、用法和原理，希望能够对大家在业务技术选型时起到一些帮助作用。一阅读全文

posted @ 2018-04-11 13:36 HBase技术社区阅读(2142) 评论(0) 推荐(0)

如何避免HBase写入过快引起的各种问题

摘要：首先我们简单回顾下整个写入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem 整个写入流程从客户端调用A 阅读全文

posted @ 2018-04-11 10:30 HBase技术社区阅读(2236) 评论(0) 推荐(0)

HBase 数据迁移

摘要：最近两年负责 HBase，经常被问到一些问题，本着吸引一些粉丝、普及一点HBase 知识、服务一点阅读人群的目的，就先从 HBase 日常使用写起，后续逐渐深入数据设计、集群规划、性能调优、内核源码级解析、思考。数据迁移是 HBase 常见操作需求之一，本文将介绍 HBase 常用的大数据量数据阅读全文

posted @ 2018-04-09 13:30 HBase技术社区阅读(1443) 评论(0) 推荐(0)

HBase在大搜车金融业务中的应用实践

摘要：摘要： 2017云栖大会HBase专场，大搜车高级数据架构师申玉宝带来HBase在大搜车金融业务中的应用实践。本文主要从数据大屏开始谈起，进而分享了GPS风控实践，包括架构、聚集分析等，最后还分享了流式数据统计，包括数据流、数据合流和服务监控等。 2017云栖大会HBase专场，大搜车高级数据架构师阅读全文

posted @ 2018-04-06 14:56 HBase技术社区阅读(502) 评论(0) 推荐(0)

[Phoenix] 四、加盐表

摘要：摘要：在密码学中，加盐是指在散列之前将散列内容（例如：密码）的任意固定位置插入特定的字符串。这个在散列中加入字符串的方式称为“加盐”。其作用是让加盐后的散列结果和没有加盐的结果不相同，在不同的应用情景中，这个处理可以增加额外的安全性。 1. 什么是加盐？在密码学中，加盐是指在散列之前将散列内容（阅读全文

posted @ 2018-04-06 14:28 HBase技术社区阅读(3383) 评论(0) 推荐(0)

Hbase权限配置以及使用手册

摘要：1、Hbase权限控制简介 Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。 2、配置配置hbase-site.xml CM主页→点击hbase(进入Hbase主页)→点击配置 2.1、点击左侧的Hbase服阅读全文

posted @ 2018-04-01 11:27 HBase技术社区阅读(10601) 评论(0) 推荐(0)

[Phoenix] 三、DML语法

摘要：摘要：云HBASE上Phoenix支持的DML语法从一个或者多个表中查询数据。LIMIT(或者FETCH FIRST) 在ORDER BY子句后将转换为top-N查询。云HBASE上Phoenix支持的DML select upsert values upsert select delete 阅读全文

posted @ 2018-04-01 10:26 HBase技术社区阅读(458) 评论(0) 推荐(0)