随笔分类 - 数据库及数据仓库
数据库及数据仓库
摘要：XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resourc
阅读全文
摘要：一、OLAP一般分为即席查询和固化查询 即席查询：用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通应用查询是定制开发的，即席查询是用户自定义查询条件，快速的执行自定义SQL（通过手写sql完成一些临时的数据分析需求，这类sql形式多变、逻辑复杂，对查询时间没有严格要
阅读全文
摘要：最近看了些大拿的相关文章，做笔记如下： Hadoop生态圈中HDFS一直用来保存底层数据。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些HDFS不足的地方。 Clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DB
阅读全文
摘要：最近做需求时，需要一个ES查询问题。 根据时间字段查询，时间字段create_time是yyyy-MM-dd HH:mm:ss这种格式的。 正常查询如下： { "query": { "bool": { "must": [ { "range": { "createTime": { "gte": "20
阅读全文
摘要：最近在做一个HIVE统计需求，遇到的场景需要把多个不同的单行结果合成一行，首先已经使用WITH ....AS 作出几个中间结果表： with A as ( ),B as ( ),C as( ) 方案有如下几个： 1、select A.* ,B.* ,C.* from A,B,C 2、人为的增加一个关
阅读全文
摘要：字条串的的常用操作，假设使用字符串，"aaa:bbb:ccc:ddd" 1、字符串包含操作 语法: instr(string string, string substring) 返回查找字符串string中子字符串substring出现的位置，如果查找失败将返回0，如果任一参数为Null将返回nul
阅读全文
摘要：1、造一行常量数据SQL select "col1","col2","col3" 运行结果 ： 2、造多行常量数据SQL 2.1 最直接的简单写法（只最后一列加别名） SELECT concat('AAA', ':', "BBB", '_PP', ':', "XXXXX") , concat('{"
阅读全文
摘要：Hive本身并没有replace方法，但是提供了以下两个函数可以实现replace的类似功能 1、translate 函数 使用#字符替换逗号 select translate('hello world, this is a function, test in Hive', ',','#'); 运行
阅读全文
摘要：1、insert into 与insert overwrite的区别 都是向 hive 表中插入数据，但 insert into 操作是以追加的方式向 hive 表尾部追加数据，而 insert overwrite 操作则是直接重写数据，即先删除 hive 表的数据，再执行写入操作。注意，如果 hi
阅读全文
摘要：OLTP和OLAP主要区别如下： OLAP OLTP 含义不同 OLAP即联机分析处理，是数据仓库的核心部心，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、
阅读全文
