随笔分类 -  PostgreSQL

PostgreSQL
摘要:工作中总是遇到数据存储相关的 Bug 工单,新需求开发设计中也多多少少会有数据模型设计和存储相关的问题。经过几次存储方案设计选型和讨论后发现需要有更全面的思考框架。 日常开发中常用的存储方案选型很多都是 “拿来主义” 的,凭借着经验、习惯选用,但对它们的细节特性或约束少有研究。 除了手边会用的存储方案,也应该关注市面上更合适的存储方案。 一定的技术预研和储备能够帮助未来更好的技术方案设计。 故写了这篇文章,抛出我的观察和思考,希望日后可以将一些更先进 (合适) 的技术引入公司业务,助力业务发展。 阅读全文
posted @ 2022-09-05 08:33 古道轻风 阅读(449) 评论(0) 推荐(0) 编辑
摘要:To continue our migration series, today’s post will focus on pgloader. Pgloader is another Open Source data migration utility for PostgreSQL from MySQL and SQL Server. Today’s demo will migrate a sample database (StackOverflow) from MS SQL Server 2019 to Postgresql v10. 阅读全文
posted @ 2022-08-21 22:59 古道轻风 阅读(535) 评论(0) 推荐(0) 编辑
摘要:在不同类型的数据库之间迁移数据并非易事。在本文中,我们将比较几种从 SQL Server 转换到 PostgreSQL 的方法。Microsoft SQL Server 是一个很棒的数据库引擎,但在某些情况下它有缺点。免费的 Microsoft SQL Server Express 可以成功用于小型数据库。 阅读全文
posted @ 2022-04-19 10:25 古道轻风 阅读(3782) 评论(0) 推荐(0) 编辑
摘要:菜鸟供应链金融慢sql治理已经有一段时间,自己负责的应用持续很长时间没有慢sql告警,现阶段在推进组内其他成员治理应用慢sql。这里把治理过程中的一些实践拿出来分享下。 阅读全文
posted @ 2022-03-16 16:32 古道轻风 阅读(417) 评论(1) 推荐(1) 编辑
摘要:在开源技术使用日益广泛的今天,笔者也可能突然被要求用一个新工具同步数据到一个新数据库,时间还可能更紧迫。到时怎么办呢?再愤怒一次吗?不了不了,还是脚踏实地总结一下,记下这些坑,日后类似项目,哪怕被拿着枪指着头也好,下述问题都要在前期阶段予以考虑。 阅读全文
posted @ 2022-03-16 13:23 古道轻风 阅读(905) 评论(0) 推荐(0) 编辑
摘要:在某些场景,要求快速的DML,并且对数据可靠性要求不是非常高。 例如游戏的会话信息,传感器上传的最新数据,运算的中间结果,等等。 例如在一个场景中,有非常多的传感器的数据要不断的被更新和查询,可以使用这种方法,每个传感器的ID哈希后分配给对应的会话,这个传感器。 上面的需求,PostgreSQL 临时表都能满足。 但是临时表也存在一定的限制或弊端。 临时表为会话级内存表,跨会话不共享数据和结构,不写REDO。 超过一定大小时会落盘,不是纯内存的。 同时临时表继承了普通表的多版本,但是实际上会话级不需要多版本。 会话断开需要重建临时表结构。 虽然现在的SSD IO能力很强,但是与内存还有一定的插件,同时SSD 擦写次数受限,所以临时表或者普通表难以满足本文开头提到的场景需求。 Oracle 12C 推出列存储内存表,但是它是基于OLAP的应用场景,并不适合本文开头提到的场景。 PostgreSQL 社区也在考虑增加内存表的功能,本文是一个引子,可以看到社区在这方面的努力。 阅读全文
posted @ 2021-11-16 17:44 古道轻风 阅读(2280) 评论(0) 推荐(0) 编辑
摘要:随着物联网的发展,时序数据库的需求越来越多,比如水文监控、工厂的设备监控、国家安全相关的数据监控、通讯监控、金融行业指标数据、传感器数据等。 在互联网行业中,也有着非常多的时序数据,例如用户访问网站的行为轨迹,应用程序产生的日志数据等等。 时序数据有几个特点 1. 基本上都是插入,没有更新的需求。 2. 数据基本上都有时间属性,随着时间的推移不断产生新的数据,旧的数据不需要保存太久。 业务方对时序数据通常有几个查询需求 1. 获取最新状态,查询最近的数据(例如传感器最新的状态) 2. 展示区间统计,指定时间范围,查询统计信息,例如平均值,最大值,最小值,计数等。。。 3. 获取异常数据,根据指定条件,筛选异常数据 阅读全文
posted @ 2021-11-15 08:57 古道轻风 阅读(1808) 评论(0) 推荐(0) 编辑
摘要:时序数据已用于愈来愈多的应用中,包括物联网、DevOps、金融、零售、物流、石油自然气、制造业、汽车、太空、SaaS,乃至机器学习和人工智能。虽然当前时序数据库仅局限于采集度量和监控,可是软件开发人员已经逐渐明白,他们的确须要一款时序数据库,真正设计用于运行多种工做负载。git 若是咱们考虑采用一款时序数据库产品,这可能意味着咱们正面对大量时序数据的快速堆积。咱们须要一个地方对这些时序数据进行存储和分析。人们此时可能已经认识到,业务的存活严重地依赖于所选取的数据库。 阅读全文
posted @ 2021-11-09 14:04 古道轻风 阅读(4276) 评论(0) 推荐(1) 编辑
摘要:在过去的十年间,我们亲历了关系型、非关系型、在线分析处理(OLAP)型、以及在线事务处理(OLTP)型数据库的市场之争,也注意到了诸如:Snowflake、MongoDB、Cockroach Labs、以及Neo4j等新型数据库的产生和发展。而根据DB-Engines的一项针对数据库管理系统调查的统计(如下图所示),时序型数据库(time series database,TSDB)是自2020年以来,增长最快的数据库类型之一。 阅读全文
posted @ 2021-11-09 11:31 古道轻风 阅读(2855) 评论(0) 推荐(0) 编辑
摘要:欢迎阅读 pgpool-II 入门教程。从本教程中,你将学会如何安装,设置 pgpool-II 以及使用 pgpool-II 运行并行查询和复制。我们假设你已经知道PostgreSQL的基础操作,所以如果有必要,请先参考 PostgreSQL 的文档。 阅读全文
posted @ 2021-11-08 15:48 古道轻风 阅读(1318) 评论(0) 推荐(0) 编辑
摘要:简单通俗的来讲,pgpool-II 是一个位于 PostgreSQL 服务器和 PostgreSQL 数据库客户端之间的中间件。pgpool-II主要提供负载均衡、连接池、复制、并行查询等等功能。Pgpool-ll可以运行在linux、solaris、FreeBSD以及基本上所有的类UNIX架构的平台。不支持Windows系统。 阅读全文
posted @ 2021-11-08 15:40 古道轻风 阅读(1702) 评论(0) 推荐(0) 编辑
摘要:有时候在远程连接时,会报Error connecting to the server:致命错误:没有用于主机“…”,用户“…”,数据库“…”,SSL关闭的pg_hba.conf记录: 这是在远程连接时pg_hba.conf文件没有配置正确。 pg_hba.conf文件在Postgre安装文件目录下的 阅读全文
posted @ 2021-09-30 14:33 古道轻风 阅读(3206) 评论(0) 推荐(0) 编辑
摘要:PostgreSQL的分区表跟先前版本一样,也要先建立主表,然后再建立子表,使用继承的特性,但不需要手工写规则了,这个比较赞阿。目前支持range、list分区,10正式版本发布时不知会不会支持其它方法。 阅读全文
posted @ 2021-01-16 11:21 古道轻风 阅读(1378) 评论(0) 推荐(0) 编辑
摘要:PostgreSQL 13 内置的pgAdmin由以前的CS结构更换为BS结构,在PostgreSQL安装完成后,运行pgAdmin 4 发现界面无法正常显示。 长时间停留在初始化界面 查看Console输出如下: 切换到Network可以发现是MIME类型不对,JavaScript无法加载,Jav 阅读全文
posted @ 2021-01-15 17:02 古道轻风 阅读(676) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示