数据库CDC 四种方式 重点（快照发布订阅）

一、数据库CDC是什么

CDC 是change data capture，即变化数据捕捉。是数据库进行备份的一种方式，常用于大量数据的备份工作。分为入侵式的和非入侵式的备份方法，入侵式的有基于触发器备份、基于时间戳备份、基于快照备份，非入侵式的备份方法是基于日志的备份。

二

四种CDC方案比较优劣

　　   抽取处理需要重点考虑增量抽取，也被称为变化数据捕获，简称CDC。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。
  　　当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显然都会变得更高效，因为要处理的数据量会小很多。遗憾的是，很多源系统很难识别出最近变化的数据，或者必须侵入源系统才能做到。变化数据捕获是数据抽取中典型的技术挑战。

 　　 常用的变化数据捕获方法有时间戳、快照、触发器和日志四种。相信熟悉数据库的读者对这些方法都不会陌生。时间戳方法需要源系统有相应的数据列表示最后的数据变化。快照方法可以使用数据库系统自带的机制实现，如Oracle的物化视图技术，也可以自己实现相关逻辑，但会比较复杂。触发器是关系数据库系统具有的特性，源表上建立的触发器会在对该表执行insert、update、delete等语句时被触发，触发器中的逻辑用于捕获数据的变化。日志可以使用应用日志或系统日志，这种方式对源系统不具有侵入性，但需要额外的日志解析工作。

  　　CDC大体可以分为两种，一种是侵入式的，另一种是非侵入式的。所谓侵入式的是指CDC操作会给源系统带来性能的影响。只要CDC操作以任何一种方式对源库执行了SQL语句，就可以认为是侵入式的CDC。基于时间戳的CDC、基于触发器的CDC、基于快照的CDC是侵入性的，基于日志的CDC是非侵入性的。

　　 下表总结了四种CDC方案的特点。

数据库读写分离

一、二八原则 数据库层面：

二八原则---数据库的数据操作中，查询占据了80%，增删改---占据了20%；

应用型系统中：功能上来说，无论做什么操作----必先要查询，要展示； 如果要让数据库反应快，性能高---可以考虑优先解决掉关于数据中的查询量多的问题；

想到关于集群； 可以把这80%的操作做一个集群----多个服务器来共同承担查询的业务诉求；

然后把对于数据库中数据的 操作也来一个分流；

---多个服务器来共同承载我们对于数据库的操作；----必然降低了单个数据库服务 器的压力，增强了响应速度；

优势：

1.性能增强了---有更多的硬件来参与数据处理

2.SqlServer自带的功能--数据同步很快

劣势：

1.数据同步也有延迟，如果我一插入数据，就马上需要把数据查询出来；---可以解决. 1. 业务妥协 2. 直接查询主库

2.操作数据库的时候---变复杂了

3.如果数据库中的表结构发生变化----需要重新搭建读写分离----主从之间，除了第一次操作，后续只能同 步数据；

 

 

 

 

 

 

注意  有发布只是发布出去了，从数据库订阅了才能同步