01 2020 档案
摘要:监控信息 (作为存储引擎,主要关注I/O,和使用内存) 从tmaster、tserver两个metrics接口获取: IP:8051/metrics?include_schema=1&metrics=serverIP:8050/metrics?include_schema=1&metrics=ser
阅读全文
摘要:ZooKeeper原理 1、简介 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据
阅读全文
摘要:0、简介 Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎,可对从数 G 到数 P 的大数据进行交互式的查询,查询的速度达到商业数据仓库的级别,据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至
阅读全文
摘要:Presto 调优 0、presto 原理架构 https://www.cnblogs.com/tgzhu/p/6033373.html 1、Presto 存在的问题 Coordinator单点问题(常见方案:ip漂移、nginx代理动态获取等) 大查询容易OOM(0.186+版本支持dump到磁盘
阅读全文
摘要:kudu 架构原理 1、kudu介绍 kudu 定位是 「Fast Analytics on Fast Data」,是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。 原数据存储于HDFS或HBase都有优缺点: 直接存放于HDFS中,适合离线分析,却不利于记录级别的随机读写。 直接将数
阅读全文