分布式系统设计导论

1、定义

 

从实用主义角度描述分布式系统，即系统对外有统一的入口，系统内的业务层进程可以有无限多个，即可水平扩展，可根据计算量增减机器。存储层支持水平扩展，可根据计算量增减机器。使系统在计算和存储上，理论上可以达到无限制。对于这个定义，大家看看就好，我并没有过多的进行抽象，我希望更实用更易懂一些。强调一下，这只是一篇导论，概要描述一些分布式系统中的核心技术。

一般互联网系统常见的分布式系统部署为：外网负载均衡层--web层--业务逻辑负载均衡层--业务逻辑层--持久化层。回头给大家补张拓扑图。

负载均衡层的实现，从大类别上一般分为两种：proxy方式与客户端路由。

web层可以概括为外网业务层，并不一定使用的HTTP协议实现，一般用于处理外部协议解析，包装业务层原子功能以对外提供各种业务。

业务逻辑层，将系统划分为各个原子性功能，对更为复杂的业务层提供支持。原子性功能独立出来，可以组合出更多的业务，满足业务扩展，另外可根据不同的子功能增减机器。另外将核心业务层从web层剥离，也有安全性考虑。

2、负载均衡

 

客户端路由：即服务端有多个入口，客户端依赖一些策略选择访问具体某个入口。比如智能DNS，其实就是客户端路由的一种实现。

proxy实现：客户端全部访问统一的proxy作为访问入口，由proxy将请求进行分发，策略在proxy中实现，客户端无需关注。如：ngnix与Apache反向代理是典型的proxy，F5、lvs也算是一种，只是对于输出流并不走proxy过。也许这样定义proxy并不一定完全正确，但是我想不到一个更好的词了。

3、应用层分布式

 

要使应用层，即web层和业务逻辑层能够实现水平扩展，是相对容易的，总结一句话概括：保证应用层无状态，可实现水平扩展。然而在绝大多数应用场景中，业务都是有状态的，我们要做到的只是使应用层进程本身是无状态的，将进程内的内存缓存全部剥离出来，一般分为两大类，一、session，存储用户认证信息及某些业务的上下文信息；二、业务缓存数据。尽量不要使用进程内的内存锁，除非你确定他不影响进程多开。

目前主流做法均是将session和业务缓存信息抽离出来存入到Redis或者memcache这些程序中，也有一些简单的做法，依赖负载均衡层，根据不同的sessionid或者业务id，将请求分发至对应的业务服务器上，比如在sessionid和业务id上加上服务器id，不过这种做法，在业务服务器宕机后，其他服务器并不能有效接管其客户端请求，并不推荐如此实现。

4、数据库层分布式

 

核心在于数据库水平拆分的实现，一般具体实现是根据要分表的字段做哈希，如对订单表的订单号对100取余，可将分为100份，得到一个订单号维度的100份表。这样拆分后，查询方必须知道订单号才可以进行操作。实际中往往要进行其他维度的查询，比如用户维度，那么在存储的时候，也需要存储一份用户维度的表。可以让应用层写的时候写两个维度，也可以使用触发器双写（多写），也可以根据数据库增量日志做异步拆分。

数据库水平拆分是一种以空间换时间的方法，大部分系统使用主从读写分离可以解决的问题，并不一定非要做水平拆分。

5、数据一致性与事物完整性

 

一个比较大型且业务复杂的系统，往往一个业务在处理时，链路是比较长的，即需要经过比较多进程或者系统处理才可以完成，当跨进程跨系统时，要保证数据一致性并不是那么容易，如果不注重数据一致性，那你们的客服估计要忙的晕头转向，技术与运维也会在查日志处理问题业务中无法自拔。

什么是数据一致性，系统被划分为子模块后，各个子模块对于同一笔订单，他们的数据应该是一致的，跨系统同理。举个最简单的例子，用户去银行支付，支付成功了，但是在系统中仍旧是未支付，这就是一个最常见的数据一致性问题。

什么是事物完整性，一笔业务在系统中流转顺序为，A-B-C-D-E，五个步骤，若ABC成功，到D就已经失败，那么这个事物不完整。这个与数据库中的事物处理又一定的区别，因为每个事物都作为不同的子事物在单独进程中执行，系统需要维护这样的事物完整，就必须增加额外的工作了，比如使用异步补调或者分布式事物管理器管理事物。

6、日志与监控

 

对于一个分布式系统，日志与监控是无法省略的，一个业务做完，往往链路比较长，这就需要比较完善的日志系统来跟踪业务。对于分布式系统来说，其系统中的进程非常多，业务也比较复杂，如果没有监控，那人就跟瞎子一样，哪些业务可能会出问题，哪些可能扛不住了需要加机器，都无从得知。

一般来说分布式系统，也应该有一套分布式日志跟踪系统，日志收集器将日志汇总到日志系统中，由日志系统对日志进行整理。每个业务请求进入系统应分配一个traceid跟踪号，使日志系统能够抽取其业务报文数据，耗时等。

请求次数、请求耗时、峰值、平均值、错误数、错误报文、线程并发数、请求被block的线程数、数据库请求消耗、并发数、峰值等等，太多的业务数据都需要被监控到，并且当各个指标与平均值偏离到指定值时应能及时告警。

 

7、系统可用性

 

假如每台机器一天中出问题的概率为0.1%，那么若系统有100台服务器，在1天中有一台及以上出问题的概率为1-0.999^100=9.52%,若是1000台服务器，这个概率是63.2%，基本上3天就有一台机器完蛋了，由此可见从技术上提高系统可用性的重要，如果在这样一个大型系统中你解决不了这个问题，基本上可能天天都有事故，还谈什么用户体验与自己的KPI呢？

我们需要考虑容灾了，不管是应用层还是数据库层，我们要提高系统可用性。heartbeat、keepalive对proxy等单点的容灾，MHA对MySQL的容灾等都可以帮助我们来提升系统可用性。

 

来源：http://blog.csdn.net/tjgamejx2/article/details/51013428