随笔分类 - 业务.架构.方案
开发常见业务场景，解决方案，架构方式。
摘要：DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
阅读全文
摘要：在实际的开发中，几乎所有的业务场景产生的数据，都需要一个唯一ID作为核心标识，用来流程化管理。
阅读全文
摘要：PostgreSQL是一个功能强大的且开源关系型数据库系统，在网上PostgreSQL和MySQL一直有大量的对比分析。大多从性能，开源协议，SQL标准，开发难度等去比较。
阅读全文
摘要：随着业务发展，数据量的越来越大，业务系统越来越复杂，拆分的概念逻辑就应运而生。数据层面的拆分，主要解决部分表数据过大，导致处理时间过长，长期占用链接，甚至出现大量磁盘IO问题，严重影响性能；业务层面拆分，主要解决复杂的业务逻辑，业务间耦合度过高，容易引起雪崩效应，业务库拆分，微服务化分布式，也是当前架构的主流方向。
阅读全文
摘要：如何架构分布式系统，这说不好，但是如何判断分布式架构是否好，这很好说：服务良好的扩展性，高可用性，例如高并发业务随时扩展，提高系统可用性，处理能力，这是必须具备的基础特性。
阅读全文
摘要：很多复杂度偏高的业务，越是需要借助基础API解决，因为复杂度高，不容易抽象化统一封装，如果数据同步这块业务，可以适配多种数据库，完全可以独立封装为中间件，开源项目中关于多方数据同步或计算的中间件也有好多，可以自行了解下，增长眼界开阔思路。
阅读全文
摘要：不同厂商的关系型数据库，提供的链接方式，驱动包，驱动类名都是不一样的，Java数据库连接API，JDBC是Java语言中用来规范客户端程序如何来访问数据库的应用程序接口，提供了诸如查询和更新数据库中数据的方法，且适配大部分关系型数据库。
阅读全文
摘要：在相对复杂的应用服务中，配置多个数据源是常见现象，例如常见的：配置主从数据库用来写数据，再配置一个从库读数据，这种读写分离模式可以缓解数据库压力，提高系统的并发能力和稳定性，执行效率。
阅读全文
摘要：当数据量持续新增，面临着这样一些需求，两台数据库无法容纳，需要数据库扩容，这里选择2台—扩容到3台的模式。
阅读全文
