随笔分类 - SQL
摘要：MySQL与PostgreSQL都是免费、开源、强大、且功能丰富的数据库。在项目数据库选择时主要的问题可能是：哪一个才是最好、最合乎业务的开源数据库，MySQL还是PostgreSQL呢？该选择哪一个开源数据库呢？毕竟项目初期数据库选定，后序想变更成本比较高。 对比之前，先从各自的官网悄咪咪的偷两张
阅读全文
摘要：先贴出问题，pgsql中某jsonb 字段，原始值为{"a":{"a":"b","c":"d"}},来了一个新值{"a":{"a":"e","f":"g"}}，我想要的最终值为{"a":{"a":"e","c":"d","f":"g"}},可是使用||操作，结
阅读全文
摘要：物联网项目不知你们是否会遇到这样的需求：设备端上报的部分数据要求平台侧进行存储，有时还需要对这些数据进行分析/历史数据查询（清洗），但是这些数据有非常的庞大，清洗也是每天进行的，清洗后的数据还需要按天进行删除，仅保留近一个月数据 最初拿到这样的需求，第一反应就是将设备上报的数据按天进行分表，数据库选
阅读全文
摘要：背景介绍 上一篇文章<Mysql为什么使用B+树做索引>中有介绍Mysql中的所有索引类型，当时简单说了一下FullText index，因本人实际开发未用到且水平有限，当时就没有过多介绍。 最近有一个需求，从一段文本中查询是否包含某字段及该字段出现的次数。 我的思路如下：查询是否存在某个字段那就需
阅读全文
摘要：为什么 MYSQL 使用 B+树作为 InnoDB 引擎的索引结构？ <Mysql为什么使用B+树做索引>一文从两个方面介绍了Mysql为什么选择B+Tree作为InnoDB引擎索引的数据结构，本文再做一下简单的总结。 Mysql数据库的数据被分割为多个页以文件形式储存在硬盘上的。因此我们每次进行数
阅读全文
摘要：什么是索引？ 索引是关系数据库中对某一列或多个列的值进行预排序的数据结构。通过使用索引，可以让数据库系统不必扫描整个表，而是直接定位到符合条件的记录，这样就大大加快了查询速度。 索引的效率取决于索引列的值是否散列，即该列的值如果越互不相同，那么索引效率越高。反过来，如果记录的列存在大量相同的值，则索
阅读全文
摘要：PostgreSQL 关闭session链接，删除数据库方法 PostgreSQL 中 有时候想删除数据库（drop database swiftliveqaapi;），发现提示“ERROR: database "xxxxxx" is being accessed by other users DE
阅读全文
摘要：前面两篇文章已经介绍了DataX的基本信息及插件开发，接下来就该介绍下如何将开发的程序打包运行起来。 开发手册里面已经说明了DataX源码编译使用assembly打包，打包命令如下： mvn clean package -DskipTests assembly:assembly 所以pom.xml内
阅读全文
摘要：DataX为什么采用插件机制？ 从设计之初，DataX就把异构数据源同步作为自身的使命，为了应对不同数据源的差异、同时提供一致的同步原语和扩展能力，DataX自然而然地采用了框架 + 插件 的模式： 插件只需关心数据的读取或者写入本身。 而同步的共性问题，比如：类型转换、性能、统计，则交由框架来处理
阅读全文
摘要：what IS DataX ? DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 DataX本身作为数据同步框架，
阅读全文
摘要：前两天和朋友闲聊,聊到了数据库设计相关的问题,朋友突然画风一转--为什么数据库里面int最大长度只能int(11),long最大长度只能bigint(20)?为什么int(4)可以存下999999? 我当时的回答有点含糊--int类型4字节,4*8=32bit,2^32-1是11位吧! int(*)
阅读全文
摘要：简介 Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key - value 数据库 Redis 与 其他 key - value 缓存产品均有以下特点： Redis 支持数据持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis 不仅仅支持简单的 k
阅读全文
