随笔分类 -  PostgreSQL

PostgreSQL
摘要:一、数据模型架构规范 1.数据层次的划分 ODS:Operational Data Store,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区,同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。 CDM:Common Data 阅读全文
posted @ 2023-10-07 08:30 古道轻风 阅读(316) 评论(0) 推荐(0) 编辑
摘要:十年后数据库还是不敢拥抱NUMA? 在2010年前后MySQL、PG、Oracle数据库在使用NUMA的时候碰到了性能问题,流传最广的这篇 MySQL – The MySQL “swap insanity” problem and the effects of the NUMA architectu 阅读全文
posted @ 2023-09-09 08:44 古道轻风 阅读(249) 评论(0) 推荐(0) 编辑
摘要:根据 2023 年的 Stack Overflow 调研 (https://survey.stackoverflow.co/2023/) ,Postgres 已经取代 MySQL 成为最受敬仰和渴望 (the most admired, desired) 的数据库。 随着 Postgres 的发展势 阅读全文
posted @ 2023-08-10 13:51 古道轻风 阅读(7460) 评论(0) 推荐(0) 编辑
摘要:1、简介 人大金仓数据库(KingbaseES)是面向事务处理类、兼顾分析类应用领域的新型数据库产品,致力于解决高并发、高可靠数据存储计算问题,是一款为企事业单位管理信息系统、业务系统量身打造的承载数据库,目前性能已全面升级,是具有高成熟度的数据库产品。 2、准备工作 数据库的安装包可以在人大金仓官 阅读全文
posted @ 2023-07-14 08:32 古道轻风 阅读(2480) 评论(0) 推荐(0) 编辑
摘要:相对于单例数据库的查询操作,分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路,了解分布式场景数据处理的设计方案。 文章从常用的关系型数据库 MySQL 的分库分表Join 分析,再到非关系型 ElasticSearch 来分析 Join 实现策略。逐步深入Join 的实现机制。 阅读全文
posted @ 2023-07-05 09:22 古道轻风 阅读(278) 评论(0) 推荐(0) 编辑
摘要:ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。 今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具,希望对你会有所帮助。 阅读全文
posted @ 2023-07-01 08:20 古道轻风 阅读(181) 评论(0) 推荐(0) 编辑
摘要:很多小微型应用程序也需要一些数据处理和计算能力,如果集成一个数据库就显得太沉重了,这种情况下 SQLite 是一个不错的选择,它架构简单,集成方便,可持久化存储数据,并提供 SQL 实现计算能力。 但是,对于某些较复杂的场景,SQLite 仍有不足之处。 阅读全文
posted @ 2023-06-25 10:32 古道轻风 阅读(890) 评论(0) 推荐(0) 编辑
摘要:向量数据库和 Embedding 是当前 AI 领域的热门话题。 Pinecone 是一家向量数据库公司,刚刚以约 10 亿美元的估值筹集了 1 亿美元。 Shopify、Brex、Hubspot 等公司都在他们的 AI 应用程序中使用向量数据库和 Embedding。那么,它们究竟是什么,它们是如何工作的,以及为什么它们在 AI 中如此重要呢?让我们一探究竟。 阅读全文
posted @ 2023-06-14 08:36 古道轻风 阅读(516) 评论(0) 推荐(1) 编辑
摘要:数据库产品的成功绝对不是技术堆叠的成功,而是需要有大量的应用场景磨合才能逐步成功的。如果仅仅依靠自己那几百个用户,想要发展出成熟的高水平的商用数据库产品来,那几乎是不太能的。依靠开源社区的广大用户来研发自己的数据库产品不失为一种比较好的策略。 阅读全文
posted @ 2023-06-08 08:24 古道轻风 阅读(250) 评论(0) 推荐(0) 编辑
摘要:上周听到公司同事分享 MySQL 同步数据到 ES 的方案,发现很有意思,感觉有必要将这块知识点再总结提炼一下,就有了这篇文章。 本文会先讲述数据同步的 4 种方案,并给出常用数据迁移工具,干货满满! 不 BB,上文章目录: 1. 前言 在实际项目开发中,我们经常将 MySQL 作为业务数据库,ES 阅读全文
posted @ 2023-06-03 15:14 古道轻风 阅读(7303) 评论(0) 推荐(3) 编辑
摘要:PostgreSQL是一款功能非常强大的开源关系型数据库,它支持哈希索引、反向索引、部分索引、Expression 索引、GiST、GIN等多种索引模式,同时可安装功能丰富的扩展包。相较于Mysql,PostgreSQ支持通过PostGIS扩展支持地理空间数据、支持嵌套循环,哈希连接,排序合并三种表连接方式等一系列的强化功能。本文主要整理总结了30个实用SQL,方便大家可以高效利用PostgreSQL。 阅读全文
posted @ 2023-04-24 07:57 古道轻风 阅读(209) 评论(0) 推荐(1) 编辑
摘要:前言:ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具,希望对你会有所帮助。 阅读全文
posted @ 2023-04-19 08:33 古道轻风 阅读(2156) 评论(0) 推荐(0) 编辑
摘要:数据库优化是一个综合工程,不仅仅是需要DBA参与,更重要的是研发设计人员针对PG数据库的特点来进行相关的优化设计。不过对于DBA来说,一旦接到上线和运维任务,基本上都是木已成舟,软件设计方面留下的坑已经挖好,DBA的作为已经十分有限了。不过既然要干运维,那么少不了就要参与优化。PG的优化工作该如何开展呢?今天我从几个主要的方面聊聊PG优化的几个常见的角度。针对PG数据库,只要做好了下面几个方面的优化工作,那么运维起来也就比较省心了。 阅读全文
posted @ 2023-03-21 08:22 古道轻风 阅读(226) 评论(0) 推荐(0) 编辑
摘要:PostgreSQL 作为当下流行的数据库,不少开发者因其开源、可靠、可扩展等特性把它应用到实际的生产环境中,帮助无数 PostgreSQL 厂商的 Percona 编制了一个最常见错误的列表。即使你认为自己已经正确地安装配置 PostgreSQL,或许仍会发现此列表对于验证你的安装配置大有裨益。 原文链接: https://www.infoworld.com/article/3681655/10-common-postgresql-mistakes-and-how-to-avoid-them.html 阅读全文
posted @ 2023-02-23 08:23 古道轻风 阅读(815) 评论(0) 推荐(0) 编辑
摘要:SqlServer属于商业数据库,不可能像Mysql等数据库一样,去解析相关的数据库binlog,从而实现增量数据的回放,结合应用属性,最后确定采用离线迁移方式,从SqlServer中将表数据全部读出,然后将数据写入到pg中,采用此种方案的弊病就是程序端需停止写入(应用可将部分数据缓存到本地),等待数据库迁移完成后,程序端再迁移至PostGresql,迁移方法如下 阅读全文
posted @ 2023-02-08 08:20 古道轻风 阅读(2462) 评论(0) 推荐(1) 编辑
摘要:本文从 5W1H 角度介绍了分库分表手段,其在解决如 IO 瓶颈、读写性能、物理存储瓶颈、内存瓶颈、单机故障影响面等问题的同时也带来如事务性、主键冲突、跨库 join、跨库聚合查询等问题。anyway,在综合业务场景考虑,正如缓存的使用一样,本着非必须勿使用原则。如数据库确实成为性能瓶颈时,在设计分库分表方案时也应充分考虑方案的扩展性,或者考虑采用成熟热门的分布式数据库解决方案,如 TiDB。 阅读全文
posted @ 2023-01-03 13:40 古道轻风 阅读(307) 评论(0) 推荐(0) 编辑
摘要:本文根据digoal(德哥)在〖2019 DAMS中国数据智能管理峰会〗现场演讲内容整理而成。 阅读全文
posted @ 2022-12-26 08:49 古道轻风 阅读(469) 评论(0) 推荐(0) 编辑
摘要:近年来,有关数据泄露相关的新闻事件屡见不鲜,不断地引发大众的讨论和担忧。各家企业都或多或少在承受相关的数据安全风险,这种可能性会给企业运行带来额外的风险,包括大众的质疑以及政府的处罚等。 Facebook超5亿用户个人数据遭到泄露; Elector Software投票应用泄露超650万以色列选民个人数据; T-Mobile数据失窃,超过1亿用户的个人信息被泄露售卖; 亚马逊因违反GDPR被重罚7.46亿欧元…… 从现有的事件统计来看, 数据库未得到正确配置和黑客攻击相对来说是比较主要的诱因;在这种严峻的个人信息保护形势背景下,各国都在强化健全相关的法律合规机制。 阅读全文
posted @ 2022-12-25 17:19 古道轻风 阅读(484) 评论(0) 推荐(0) 编辑
摘要:小程序云开发(Tencent CloudBase)拥有易接入、高性能、高可用等特性,其中云数据库作为核心组件之一,可以有效降低运维成本,帮助开发者实现业务快速上线与迭代。本文将简要介绍如何通过 TEG 云架构平台部的高性能分布式 NoSQL 数据库,为近百万小程序云开发用户提供完整的原生云端数据库能力支持。 阅读全文
posted @ 2022-12-23 08:41 古道轻风 阅读(295) 评论(0) 推荐(0) 编辑
摘要:"天底下没有完美的数据库,也许Oracle是个例外”,前阵子几个DBA在讨论国产化替代时,有人就这么说。确实是的,Oracle算是比较完美的数据库产品了,不过现在很多用户都在面临从Oracle数据库向其他数据库迁移的问题。中国电信已经宣布了今年年底前全线下架Oracle数据库,全部用国产或者开源数据库替代。本周和中国电信的朋友交流的时候,他们说已经完成了数百套系统从Oracle数据库的迁移,最晚到8月份,这个任务就能够完成了。 阅读全文
posted @ 2022-12-13 20:57 古道轻风 阅读(362) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示