摘要:HBase —— Shell操作 表的基本操作 创建表 create '表名', '列簇名', ... 查看表 list 删除表 ## 禁用表 disable "表名" ## 删除表 drop "表名" 添加数据 put '表名','ROWKEY','列簇名:列','值' 查看数据 get '表名'
阅读全文
摘要:HBase —— 入门 HBase介绍 HBase是一个**分布式的、面向列的**开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储
阅读全文
摘要:Hive —— HQL Hive的操作语言HQL和SQL大同小异 数据库操作 -- 创建 CREATE DATABASE mydb; -- 使用 USE mydb; -- 删除 DROP DATABASE mydb; -- 强制删除 DROP DATABASE mydb CASCADE; 创建表 -
阅读全文
摘要:Hive —— 入门 Hive介绍 Apache Hive是一款建立在Hadoop之上的开源**数据仓库系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表**,基于表提供了一种类似SQL的查询模型,称为**Hive查询语言( HQL),用于访问和分析存储在Hadoop文
阅读全文
摘要:YARN YARN官方文档 YARN的介绍 YARN是一个==通用==的**资源管理系统和调度平台** 资源管理系统:集群的硬件资源,和程序运行相关,比如内存、CPU等 调度平台:多个程序同时申请计算,资源如何分配,调度的规则/算法。 YARN的架构 上图中我们可以清晰的看到YRAN的三大组件: 集
阅读全文
摘要:Redis总结 Key | 命令 | 描述 | | : | : | | DEL key | 删除键值 | | DUMP key | 序列化键值 | | EXISTS key | 检查key是否存在 | | EXPIRE key 秒 | 设置key的过期时间,秒格式 | | PEXPIRE key 毫
阅读全文
摘要:Git总结 git命令参考 安装Git # Centos yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-devel yum install git 获取本地仓库 # 1. 进入一个空目录,
阅读全文
摘要:分布式算法 - ZAB(Zookeeper Atomic Broadcast)算法 ZAB协议 ZAB 协议全称:Zookeeper Atomic Broadcast(Zookeeper 原子广播协议)。 Zookeeper 是一个为分布式应用提供高效且可靠的分布式协调服务。在解决分布式一致性方面,
阅读全文
摘要:分布式算法 - Raft算法 Raft算法 算法简介 不同于Paxos算法直接从分布式一致性问题出发推导出来,Raft算法则是从多副本状态机的角度提出,用于管理多副本状态机的日志复制。Raft实现了和Paxos相同的功能,它将一致性分解为多个子问题:Leader选举(Leader election)
阅读全文
摘要:分布式算法 - Paxos算法 Basic Paxos算法 算法简介 Paxos 算法解决的问题是一个分布式系统如何就某个值(决议)达成一致。一个典型的场景是,在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点执行相同的操作序列,那么他们最后能得到一个一致的状态。为保证每个节点执行相同的命
阅读全文
摘要:分布式算法 - 一致性Hash算法 一致性Hash算法是个经典算法,Hash环的引入是为解决**单调性(Monotonicity)的问题;虚拟节点的引入是为了解决平衡性(Balance)**问题。 一致性Hash算法的原理主要分为两步: 首先,对存储节点的哈希值进行计算,其将==存储空间抽象为一个环
阅读全文
摘要:Redis 官方文档 概念和基础 Redis是一种支持key-value等多种数据结构的存储系统。可用于缓存,事件发布或订阅,高速队列等场景。支持网络,提供字符串,哈希,列表,队列,集合结构直接存取,基于内存,可持久化。 基本数据类型 首先对redis来说,所有的key(键)都是字符串。我们在谈基础
阅读全文
摘要:SQL语言 语法基础 注释 # 使用'#'注释 -- 使用'--'注释 /* 多行注释 */ 创建使用数据库 CREATE DATABASE db01; USE db01; 创建表 CREATE TABLE table01 ( id INT NOT NULL AUTO_INCREMENT PRIMA
阅读全文
摘要:数据库基础和原理 关系型数据库是如何工作的 Architecture of a Database System How does a relational database work 关系型数据库设计理论 重要术语 属性(attribute):列 元组(tuple):行 表(table):由多个属性
阅读全文