数据分析 - 标签 - bonelee

都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？——Kylin 利用 MapReduce/Spark 将原始数据进行聚合计算，转成了 OLAP Cube 并加载到 HBase 中，以 Key-Value 的形式存储。Cube 按照时间范围划分为多个 segment，每个 segment 是一张 HBase 表，每张表会根据数据大小切分成多个 region

bonelee 2020-03-08 15:53 阅读:480 评论:0 推荐:0 编辑

sparkSQL原理和使用——一般在生产中，基本都是使用hive做数据仓库存储数据，然后用spark从hive读取数据进行处理

bonelee 2020-03-08 15:41 阅读:4537 评论:0 推荐:1 编辑

spark sql架构和原理——和Hive类似 dataframe无非是内存中的table而已底层原始数据存储可以是parquet hive json avro等

bonelee 2020-03-08 15:31 阅读:819 评论:0 推荐:0 编辑

Hive架构和工作原理

bonelee 2020-03-08 12:01 阅读:3644 评论:0 推荐:0 编辑

一文弄懂Hive基本架构和原理——Hive元数据信息存储在Hive MetaStore中，Hive 中所有的数据都存储在 HDFS 中，Hive 中数据模型：Table，External Table，Partition，Bucket;最后将一个SQL变成hadoop MapReduce作业

bonelee 2020-03-08 11:52 阅读:1884 评论:0 推荐:0 编辑

InfluxDB存储引擎Time Structured Merge Tree——本质上和LSM无异，只是结合了列存储压缩，其中引入fb的float压缩，字串字典压缩等

bonelee 2017-05-02 09:50 阅读:1049 评论:0 推荐:0 编辑

SQL数据分析概览——Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto+druid

bonelee 2017-03-27 10:16 阅读:28981 评论:0 推荐:0 编辑

facebook Presto SQL分析引擎——本质上和spark无异，分解stage，task，MR计算

bonelee 2017-03-25 11:09 阅读:5838 评论:0 推荐:0 编辑

parquet文件格式——本质上是将多个rows作为一个chunk，同一个chunk里每一个单独的column使用列存储格式，这样获取某一row数据时候不需要跨机器获取

bonelee 2017-03-14 12:09 阅读:1591 评论:1 推荐:0 编辑

druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)——分析框架如hive或者redshift（MPPDB）、ES等

bonelee 2017-03-02 15:35 阅读:2104 评论:0 推荐:0 编辑

万亿级日志与行为数据存储查询技术剖析（续）——Tindex是改造的lucene和druid

bonelee 2017-03-02 15:07 阅读:2226 评论:0 推荐:1 编辑

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

bonelee 2017-03-02 15:05 阅读:3893 评论:0 推荐:0 编辑

数据分析文章待读

bonelee 2017-03-01 17:14 阅读:216 评论:0 推荐:0 编辑

hive和hbase本质区别——hbase本质是OLTP的nosql DB，而hive是OLAP 底层是hdfs，需从已有数据库同步数据到hdfs;hive可以用hbase中的数据，通过hive表映射到hbase表

bonelee 2017-03-01 11:54 阅读:7250 评论:0 推荐:0 编辑

amazon redshift 分析型数据库特点——本质还是列存储

bonelee 2017-03-01 11:35 阅读:4236 评论:0 推荐:0 编辑

阿里云数据库产品HybridDB简介——OLAP数据库，支持行列混合存储，基于数据库Greenplum的开源版本，并且吸收PostgreSQL精髓

bonelee 2017-03-01 11:24 阅读:8313 评论:0 推荐:0 编辑

阿里云数据库产品HybridDB简介——OLAP数据库，支持行列混合存储，为用户提供基于开源 OLTP、OLAP、BigData 生态的一站式解决方案

bonelee 2017-03-01 11:00 阅读:2383 评论:0 推荐:0 编辑

Apache Flink vs Apache Spark——感觉二者是互相抄袭啊看谁的好就抄过来 Flink支持在runtime中的有环数据流，这样表示机器学习算法更有效而且更有效率

bonelee 2017-02-23 14:57 阅读:5498 评论:0 推荐:0 编辑

Druid：一个用于大数据实时处理的开源分布式系统——大数据实时查询和分析的高容错、高性能开源分布式系统

bonelee 2017-02-16 09:45 阅读:1496 评论:0 推荐:0 编辑

列存储压缩技巧，除公共除数或者同时减去最小数，字符串压缩的话，直接去重后用数字ID压缩

bonelee 2017-02-15 15:01 阅读:430 评论:0 推荐:0 编辑

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

当前标签：数据分析

公告

搜索

常用链接

我的标签

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论