随笔- 807 文章- 150 评论- 23 阅读- 151万

随笔分类 - 数据仓库DB-Greenplum 数据库调优

摘要：示例：启用 SQL 跟踪PostgreSQL 日志支持的输出格式有 stderr（默认）, csvlog , syslog 一般的错误跟踪，只需在配置文件【postgresql.conf】简单设置几个参数，当然还有错误级别等要设置。 logging_collector = onlog_destin 阅读全文

posted @ 2019-07-09 11:23 xibuhaohao 阅读(2817) 评论(0) 推荐(0) 编辑

Postgresql vacuum freeze相关参数

摘要：先看3个参数：autovacuum_freeze_max_age | 500000vacuum_freeze_min_age | 10vacuum_freeze_table_age | 100000 首先如果pg_class表age(relfrozenxid)大于autovacuum_freeze_ 阅读全文

posted @ 2019-07-04 17:41 xibuhaohao 阅读(1003) 评论(0) 推荐(0) 编辑

Greenplum 调优--查看子节点SQL运行状态

摘要：摘自《Greenplum企业应用实战》重点：使用gp_dist_random函数，将查询下发到每个Segement 创建查看子节点SQL运行状态视图 1）创建v_active_sql视图方便查看SQL create view v_active_sql as select pg_stat_acti 阅读全文

posted @ 2019-07-04 16:56 xibuhaohao 阅读(724) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据分布法则 - 分布列与分区的选择

摘要：分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。 Greenplum 支持的分布算法 : 阅读全文

posted @ 2019-07-04 16:18 xibuhaohao 阅读(1383) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据倾斜排查（二）

摘要：上次有个朋友咨询我一个GP数据倾斜的问题，他说查看gp_toolkit.gp_skew_coefficients表时花费了20-30分钟左右才出来结果，后来指导他分析原因并给出其他方案来查看数据倾斜。其实很多朋友经常使用如下的方式来检查数据分布： select gp_segment_id,coun 阅读全文

posted @ 2019-07-04 16:15 xibuhaohao 阅读(2806) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据倾斜排查（一）

摘要：对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。如何监控倾斜 1、监控数据库级别倾斜 2、监控表级倾斜出现数据倾斜的原因和解决办法 1.分布键阅读全文

posted @ 2019-07-04 16:03 xibuhaohao 阅读(1228) 评论(0) 推荐(0) 编辑

Greenplum 调优--VACUUM系统表

摘要：Greenplum 调优--VACUUM系统表 1、VACUUM系统表原因 Greenplum是基于MVCC版本控制的，所有的delete并没有删除数据，而是将这一行数据标记为删除，而且update其实就是delete加insert。所以，随着操作越来越多，表的大小也会越来越大。对于OLAP 应用阅读全文

posted @ 2019-07-04 15:35 xibuhaohao 阅读(3011) 评论(0) 推荐(0) 编辑