2019年7月8日

摘要： Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的阅读全文

posted @ 2019-07-08 17:05 xibuhaohao 阅读(1061) 评论(0) 推荐(0) 编辑

ES 的基本用法

摘要： ES的基本用法 ES的基本概念 1> 集群和节点一个es集群是由一个或多和es节点组成的集合每一个集群都有一个名字, 如之前的wali 每个节点都有自己的名字, 如之前的master, slave1, slave2 节点是可以存储数据, 参与索引数据等的独立服务 2> 索引(类似于数据库里面的d 阅读全文

posted @ 2019-07-08 16:34 xibuhaohao 阅读(449) 评论(0) 推荐(0) 编辑

elasticsearch 集群管理（集群规划、集群搭建、集群管理）

摘要：一、集群规划搭建一个集群我们需要考虑如下几个问题： 1. 我们需要多大规模的集群？ 2. 集群中的节点角色如何分配？ 3. 如何避免脑裂问题？ 4. 索引应该设置多少个分片？ 5. 分片应该设置几个副本？下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群？需要从以下两个方面考虑： 1 阅读全文

posted @ 2019-07-08 15:38 xibuhaohao 阅读(508) 评论(0) 推荐(0) 编辑

ElasticSearch 集群环境搭建，安装ElasticSearch-head插件，安装错误解决

摘要： ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决说起来甚是惭愧，博主在写这篇文章的时候，还没有系统性的学习一下ES，只知道可以拿来做全文检索，功能很牛逼，但是接到了任务不想做也不行， leader让我搭建一下分布式的ES集群环境，用来支阅读全文

posted @ 2019-07-08 15:37 xibuhaohao 阅读(301) 评论(0) 推荐(0) 编辑

2019年7月5日

Greenplum 基准测试

摘要： https://my.oschina.net/javacy/blog/2997135 阅读全文

posted @ 2019-07-05 17:41 xibuhaohao 阅读(451) 评论(0) 推荐(0) 编辑

MySQL 计算时间差函数 TIMESTAMPDIFF、DATEDIFF

摘要：一、TIMESTAMPDIFF 支持天、小时、秒等 selet TIMESTAMPDIFF(hour,odl_time,now()); 计算old_time与现在时间的小时差。二、DATEDIFF select datediff(now(),old_time); 阅读全文

posted @ 2019-07-05 16:03 xibuhaohao 阅读(788) 评论(0) 推荐(0) 编辑

PostgreSQL 时间函数 extract函数

摘要：计算时间差天数 select extract(day FROM (age('2017-12-10'::date , '2017-12-01'::date))); 计算时间差秒数 select extract(epoch FROM (now() - (now()-interval '1 day') ) 阅读全文

posted @ 2019-07-05 15:57 xibuhaohao 阅读(5459) 评论(0) 推荐(1) 编辑

Greenplum最佳实践

摘要：一、最佳实践数据库参数部分 GP数据库参数配置以下配置存于文件–postgresql.conf中，仅列出一些最常用的参数。 shared_buffers：刚开始可以设置一个较小的值，比如总内存的15%，然后逐渐增加，过程中监控性能提升和swap的情况。effective_cache_size : 阅读全文

posted @ 2019-07-05 15:15 xibuhaohao 阅读(1243) 评论(0) 推荐(0) 编辑

Greenplum 查看表的分区键与分区类型

摘要：方法一查看表的分区键 select d.nspname||'.'||a.relname as table_name,string_agg(b.attname,',') as column_namefrom pg_catalog.pg_class ainner join pg_catalog.pg_ 阅读全文

posted @ 2019-07-05 15:12 xibuhaohao 阅读(2623) 评论(0) 推荐(0) 编辑

2019年7月4日

Postgresql vacuum freeze相关参数

摘要：先看3个参数：autovacuum_freeze_max_age | 500000vacuum_freeze_min_age | 10vacuum_freeze_table_age | 100000 首先如果pg_class表age(relfrozenxid)大于autovacuum_freeze_ 阅读全文

posted @ 2019-07-04 17:41 xibuhaohao 阅读(972) 评论(0) 推荐(0) 编辑

采用非常规方法（非gprecoverseg) 恢复greenplum数据库

摘要： greenplum数据库中mirror的作用就是作为primary的备份存在。那么恢复down掉的mirror或primary时，是否可以直接复制文件从primary或mirror到对应的mirror或primary来启动数据库，而不采用gprecoverseg呢？答案是肯定的。下面将讨论其中需要涉阅读全文

posted @ 2019-07-04 17:37 xibuhaohao 阅读(868) 评论(0) 推荐(0) 编辑

Oracle 修改SID --不建议修改

摘要： 1、登录数据库查看SID select instance_name,status from v$instance; 2、关闭数据库 shutdown immdiate; 3、修改/etc/oratab文件 4、修改Oracle用户下.bash_profile，并source .bash_profil 阅读全文

posted @ 2019-07-04 17:30 xibuhaohao 阅读(1867) 评论(0) 推荐(1) 编辑

Greenplum 调优--查看子节点SQL运行状态

摘要：摘自《Greenplum企业应用实战》重点：使用gp_dist_random函数，将查询下发到每个Segement 创建查看子节点SQL运行状态视图 1）创建v_active_sql视图方便查看SQL create view v_active_sql as select pg_stat_acti 阅读全文

posted @ 2019-07-04 16:56 xibuhaohao 阅读(690) 评论(0) 推荐(0) 编辑

Greenplum 函数 gp_dist_random

摘要：转载自：https://yq.aliyun.com/articles/7593 函数作用： gp_dist_random('gp_id')本质上就是在所有节点查询gp_id， gp_dist_random('pg_authid')就是在所有节点查询pg_authid，使用greenplum时，如果阅读全文

posted @ 2019-07-04 16:37 xibuhaohao 阅读(910) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据分布法则 - 分布列与分区的选择

摘要：分布列选择黄金法则由于Greenplum是一个分布式的数据库，数据是分散存储在各个数据节点的，所以需要告诉Greenplum数据应该如何分布。短板效应当用户请求QUERY时，Greenplum会在所有的节点并行执行，所以最慢的节点会成为整个系统的瓶颈。 Greenplum 支持的分布算法 : 阅读全文

posted @ 2019-07-04 16:18 xibuhaohao 阅读(1337) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据倾斜排查（二）

摘要：上次有个朋友咨询我一个GP数据倾斜的问题，他说查看gp_toolkit.gp_skew_coefficients表时花费了20-30分钟左右才出来结果，后来指导他分析原因并给出其他方案来查看数据倾斜。其实很多朋友经常使用如下的方式来检查数据分布： select gp_segment_id,coun 阅读全文

posted @ 2019-07-04 16:15 xibuhaohao 阅读(2705) 评论(0) 推荐(0) 编辑

Greenplum 调优--数据倾斜排查（一）

摘要：对于分布式数据库来说，QUERY的运行效率取决于最慢的那个节点。当数据出现倾斜时，某些节点的运算量可能比其他节点大。除了带来运行慢的问题，还有其他的问题，例如导致OOM，或者DISK FULL等问题。如何监控倾斜 1、监控数据库级别倾斜 2、监控表级倾斜出现数据倾斜的原因和解决办法 1.分布键阅读全文

posted @ 2019-07-04 16:03 xibuhaohao 阅读(1173) 评论(0) 推荐(0) 编辑

Greenplum 调优--VACUUM系统表

摘要： Greenplum 调优--VACUUM系统表 1、VACUUM系统表原因 Greenplum是基于MVCC版本控制的，所有的delete并没有删除数据，而是将这一行数据标记为删除，而且update其实就是delete加insert。所以，随着操作越来越多，表的大小也会越来越大。对于OLAP 应用阅读全文

posted @ 2019-07-04 15:35 xibuhaohao 阅读(2919) 评论(0) 推荐(0) 编辑

PostgreSQL、Greenplum 日常监控和维护任务

摘要：背景 Greenplum的日常监控点、评判标准，日常维护任务。展示图层由于一台主机可能跑多个实例，建议分层展示。另外，即使是ON ECS虚拟机（一个虚拟机一个实例一对一的形态）的产品形态，实际上也建议分层展示，以示通用性。主机级图层 1、全局 2、以集群分组展示图形 1、饼图（正常、警告、阅读全文

posted @ 2019-07-04 14:20 xibuhaohao 阅读(1413) 评论(0) 推荐(0) 编辑

Greenplum 监控segment是否正常

摘要：在greenplum运行过程中，Segement很有可能因为压力大出现不可用的情况，主备Segement发现了切换，或是主备Segement网络断开，数据不同步了。在默认情况下，如果GreenPlum4.X版本中，有一个Segment失败了，数据库还是会正常运行的，如果是主Segemnt失败了阅读全文

posted @ 2019-07-04 14:12 xibuhaohao 阅读(523) 评论(0) 推荐(0) 编辑

GreenPlum 数据库启动关闭及数据库状态检查

摘要：本篇文章主要记录GreenPlum数据库的启动、关闭及状态查询。GreenPlum数据库提供gpstart和gpstop脚本来启动和关闭数据库，可以通过—help参数来查看这些脚本的帮助信息。 view source 01 [gpadmin@mdw master]$ gpstart --help 0 阅读全文

posted @ 2019-07-04 10:59 xibuhaohao 阅读(2727) 评论(0) 推荐(1) 编辑

GreenPlum 数据库创建用户、文件空间、表空间、数据库

摘要：前几篇文章介绍了GreenPlum数据库的安装、启动、关闭、状态检查、登录等操作，数据库已经创建好了，接下来介绍如何使用数据库。按照习惯，需要先创建测试用户、表空间、数据库。先创建测试用户dbdream。 view source 1 postgres=# create role dbdream pa 阅读全文

posted @ 2019-07-04 10:52 xibuhaohao 阅读(7100) 评论(0) 推荐(0) 编辑

Greenplum 表空间和filespace的用法

摘要：转载：https://yq.aliyun.com/articles/190 Greenplum支持表空间，创建表空间时，需要指定filespace。postgres=# \h create tablespace;Command: CREATE TABLESPACEDescription: defin 阅读全文

posted @ 2019-07-04 10:28 xibuhaohao 阅读(680) 评论(0) 推荐(0) 编辑

2019年7月3日

Greenplum table 之外部表

摘要：转载自： https://www.cnblogs.com/kingle-study/p/10552097.html 一、外部表介绍 Greenplum 在数据加载上有一个明显的优势,就是支持数据的并发加载,gpfdisk是并发加载的工具,数据库中对应的就是外部表所谓外部表，就是在数据库中只有表定义阅读全文

posted @ 2019-07-03 17:19 xibuhaohao 阅读(4203) 评论(0) 推荐(0) 编辑

Greenplum 行存、列存，堆表、AO表的原理和选择

摘要：转载自： https://github.com/digoal/blog/blob/master/201708/20170818_02.md?spm=a2c4e.11153940.blogcont179210.17.6f682764HWr8pC&file=20170818_02.md 背景 Green 阅读全文

posted @ 2019-07-03 16:59 xibuhaohao 阅读(3064) 评论(0) 推荐(0) 编辑

Greenplum table 之 appendonly的列存储表

摘要：一、appendonly的列存储表 1、创建列存储表 create table test_column_ao( id bigint, name varchar(128), value varchar(128), ) with (appendonly=true,orientation=column,c 阅读全文

posted @ 2019-07-03 16:58 xibuhaohao 阅读(903) 评论(0) 推荐(1) 编辑

Greenplum table 之 appendonly表

摘要：一、压缩表 1、appendonly压缩表的数据视图为pg_appendonly 2、appendonly在Greenplum后也可更新与删除阅读全文

posted @ 2019-07-03 16:46 xibuhaohao 阅读(941) 评论(0) 推荐(0) 编辑

Greenplum 执行计划之广播与重分布

摘要：关联数据在不同节点上，对于普通关系型数据库来说，是无法进行连接的。关联的数据需要通过网络流入到一个节点中进行计算，这样就需要发生数据迁移。数据迁移有广播和重分布两种。在GP中，每一个广播或重分布会产生一个切片，每一个切片在每个数据节点上都会对应发起一个进程来处理该slice负责的数据，上一层负责该s 阅读全文

posted @ 2019-07-03 15:51 xibuhaohao 阅读(743) 评论(0) 推荐(0) 编辑

GreenPlum 锁表以及解除锁定

摘要：最近遇到truncate表，无法清理的情况，在master节点查看加锁情况，并未加锁这种情况极有可能是segment节点相关表加了锁，所以遇到这种情况除了排查master节点的锁，所有的segment也要查看锁的持有情况，然后根据情况，进行处理。 master节点：查看segment锁情况selec 阅读全文

posted @ 2019-07-03 14:09 xibuhaohao 阅读(2131) 评论(0) 推荐(0) 编辑

Postgresql 解决锁表

摘要：转载地址:https://blog.csdn.net/cicon/article/details/68068462##一、postgresql解决锁表--查询是否锁表了select oid from pg_class where relname='可能锁表了的表'select pid from pg 阅读全文

posted @ 2019-07-03 14:04 xibuhaohao 阅读(7874) 评论(0) 推荐(0) 编辑

Greenplum 查看连接与锁信息数据字典

摘要：查看系统中会话/连接/SQL与锁情况 1、查看当前活动的客户端连接数 SELECT count(*) FROM pg_stat_activity WHERE NOT pid=pg_backend_pid(); 2、查询客户端连接的情况 SELECT pid,case when waiting='f' 阅读全文

posted @ 2019-07-03 13:44 xibuhaohao 阅读(894) 评论(0) 推荐(0) 编辑

2019年7月2日

Greenplum 常用数据字典

摘要：一、数据库集群信息 1、gp_segment_configration 2、pg_filespace_entry 这两个表是在pg_global表空间下面的，是全局表。用来查看集群segment信息，比如segment个数。二、常用数据字典表 1、pg_class 保存了所有表、视图、序列、索引阅读全文

posted @ 2019-07-02 15:33 xibuhaohao 阅读(1070) 评论(0) 推荐(0) 编辑

Linux 内核参数说明

摘要：转载自： https://www.cnblogs.com/tolimit/p/5065761.html 因个人能力有限，不能保证所有描述都正确，还请大家集思广益，有错误的地方欢迎大家留言指正，同时也欢迎大家留言对未标注项进行补偿，谢谢。内核参数列表内存参数列表网络参数列表文件系统参数列表用阅读全文

posted @ 2019-07-02 14:18 xibuhaohao 阅读(6244) 评论(0) 推荐(1) 编辑

Greenplum 如何直连segment节点

摘要： Greenplum 展开阅读全文直连greenplum segment节点的方法, utility模式 : 使用这种方式，不与其他节点通讯，只操作当前节点。也没有数据分布的概念。如果使用utility模式连接的是master节点，写入数据时，数据不会分布到segment，使用正常模式连接后，写入阅读全文

posted @ 2019-07-02 10:50 xibuhaohao 阅读(751) 评论(0) 推荐(0) 编辑

2019年7月1日

GreenPlum 数据备份与恢复

摘要： GreenPlum数据备份与恢复gp_dump是GP并行备份的备份工具，在运行gp_dump的时候master与所有的segment节点都开始备份（standby节点和segment节点中的mirror实例不参加备份），数据文件都是放在各个的节点服务器上，消耗的时间和数据量最大的、消耗时间最长的节点阅读全文

posted @ 2019-07-01 17:23 xibuhaohao 阅读(2266) 评论(0) 推荐(0) 编辑

greenplum(postgresql) 数据字典

摘要： greenplum是基于postgresql开发的分布式数据库，里面大部分的数据字典是一样的。我们在维护gp的时候对gp的数据字典比较熟悉，特此分享给大家。在这里不会详细介绍每个字典的内容，只会介绍常见的应用以及一些已经封装好了的函数。具体的介绍大家可以去看postgresql的中文文档（附件），里阅读全文

posted @ 2019-07-01 17:05 xibuhaohao 阅读(971) 评论(0) 推荐(0) 编辑

PostgreSQL 用户、角色、权限管理

摘要： PostgreSQL是一个多用户数据库，可以为不同用户指定允许的权限。角色 PostgreSQL使用角色的概念管理数据库访问权限。根据角色自身的设置不同，一个角色可以看做是一个数据库用户，或者一组数据库用户。角色可以拥有数据库对象(比如表)以及可以把这些对象上的权限赋予其它角色，以控制谁拥有阅读全文

posted @ 2019-07-01 16:56 xibuhaohao 阅读(4001) 评论(0) 推荐(0) 编辑

PostgreSQL 使用PG_Rman进行物理备份

摘要：背景在Oracle下我们可以使用rman进行物理备份，支持数据库的全量、增量、归档的备份模式而PostgreSQL作为开源数据库，近些时间来也一直向商业版数据库看齐，也推出了开源功工具pg_rman，也具备了oracle rman大部分的功能 pg_rman介绍 pg_rman是一个开源的Post 阅读全文

posted @ 2019-07-01 16:06 xibuhaohao 阅读(1908) 评论(1) 推荐(0) 编辑

Postgresql 物理热备份 -- PITR 时间点恢复(Point In Time Recovery)

摘要：时间点恢复(Point In Time Recovery) 阅读全文

posted @ 2019-07-01 15:39 xibuhaohao 阅读(425) 评论(0) 推荐(0) 编辑

Postgresql 物理备份冷备份与热备份

摘要：一、冷备份将数据库停下来，然后把数据库的PGDATA目录拷贝下来就可以了。 PostgreSQL把与数据库实例有关的配置文件和数据文件都放在PGDATA目录下，所以做冷备份很简单。二、热备份热备份称之为在线备份。有两种热备份方法 1、使用数据库的PIRT方法进行热备份。PIRT的原理--时间阅读全文

posted @ 2019-07-01 15:37 xibuhaohao 阅读(1495) 评论(0) 推荐(0) 编辑

公告