做好设计：流程设计

没有什么是一成不变的。

在“做好设计：存储设计基础”一文中，探讨了软件设计中的关键环节：存储设计。存储设计完成之后，要进行流程设计。

要做好流程设计，首先要熟悉各种基本流程模式。可阅：““驯服”业务流程：盘点业务开发中的常见流程模式 ”。

熟悉常用流程模式之后，就需要灵活加以组合，来构建复杂的业务流程。

业务流程需要满足的若干特性

• 完整性：构建完整的业务流程，从数据流入到数据存储或数据流出，畅通无阻。
• 清晰性：流程表达要足够清晰，容易理解。
• 健壮性：对于流程中的各种错误，要确保合理地处理，避免流程中断，或者僵死在某个状态。
• 性能：流程在可接受的时间内完成。
• 稳定性： 流程在大数据量或大流量的压力下，不会阻塞崩溃。
• 可扩展性：如果要在流程中添加新的子流程处理，能否很好地添加而不影响已有。
  
  

构建复杂流程的方法

如何构建复杂的业务流程呢？ 运用“分解-抽象-封装-复用-组合-关联-重构-函数式编程”的思想和方法来搞定。

分解

分解，即是将具有独立语义的子流程和流程逻辑单元分离出来。

• 将整体流程分解为若干个子流程；
• 将每个子流程进一步分解为更小粒度的流程逻辑单元；
• 一直分解，直至每个流程逻辑单元简单而清晰（只做一件事）。
  
  

构建流程逻辑单元的模式可以对应到““驯服”业务流程：盘点业务开发中的常见流程模式 ”一文中的基本流程模式。

分解这一步非常重要：

• 将整体流程中的子流程分离出来再组合，可使其依赖和组合关系分割得更清晰，使凌乱的整体流程逻辑整通顺，变得整洁有序；
• 分解整体流程的过程中可以增进对整体流程的理解；
• 为抽象、封装和复用打下基础。

分解得足够细，就更容易抽象和封装，更容易复用。

抽象

在分解的基础上，将关键信息提炼出来，将流程共性提炼出来，封装成可复用的标准对象和方法。

• 关键信息提炼；
• 共性流程提炼。

标准对象提炼非常重要，体现了对流程中关键信息的认知。流程通常是围绕关键信息而构建起来的。

流程共性抽象亦非常重要，将子流程的共性抽离出来，更容易复用，减少重复代码及伴随的BUG。

比如恶意进程检测流程的关键信息是什么？ MD5, SHA256, filePath。准确地构造这 3 个信息，基本就把握了恶意进程检测流程的关键。

比如各种检测流程有什么共性流程？获取规则信息、构建告警详情、存储告警详情、白名单检测。

抽象的结果通常是若干个可复用的独立语义的概念。而封装则需要将概念转换为具体的实现形式。

封装

抽象好后，就需要设计良好的可复用的封装形式。

• 关键信息封装成标准对象（可对接不同业务）。
• 子流程共性封装成流程组件；
• 流程组件封装成高层次的流程组块。

良好的封装可以减少重复代码的出现，让流程更清晰而容易理解，减少认知负担。

封装单元可大可小。封装单元可以是一个对象、方法、组件类，也可以是多个类组成的库或框架，或一个相对完整的流程。

比如知道恶意进程检测的关键信息 MD5, SHA256, filePath，就可以把这三个信息封装成一个标准对象 VirusCheckTaskInfo。

比如通用入侵检测流程里的获取规则信息、检测结果填充、告警详情构建、告警存储、发送大数据，都可以封装成流程组件，可以在不同的检测流程里复用。

复用

• 提炼流程组件的通用部分进行复用；
• 提炼流程组块的通用部分进行复用。

有了封装的基础，复用就比较容易了。只需考虑在具体的业务场景如何去引用，或者对现有封装做一点小的改造。

流程组块是理解和构建复杂流程的基础。越是能够在高层次流程组块思考和构建流程，就能驾驭越复杂的流程。

有了可复用的封装的基础，接下来就只需要考虑封装单元的组合和关联。

组合

• 在可复用的流程组件和流程组块的级别上进行组合。

比如上述多个流程组件可组合成通用入侵检测流程的核心部分，而这个通用入侵检测流程的核心部分又在更复杂的检测流程里复用。比如过各种已有引擎检测库，就几个字，却代表着一个包含多个引擎库的复杂的恶意进程检测流程。

组合通常是串行、并发的各种流程组合模式。这就运用到““驯服”业务流程：盘点业务开发中的常见流程模式 ”一文总结的各种业务流程模式及组合模式。

关联

• 将有关联的信息通过唯一标识关联起来；
• 通过实体表的唯一标识字段的外键关联来建立。

比如脱壳进程的文件和原进程的文件信息，就可以通过在脱壳进程文件记录里关联原进程文件记录的 MD5 或 SHA256 或 fileId 来实现。

重构

• 反复运用上述方法，对已有流程进行改小步重构，是一种很好的理解和梳理复杂流程的方式；
• 小步重构技巧：每次抽离一部分流程，然后写一个短函数进行调用。
  
  

函数式编程

函数式编程是一种强大的编程思想和编程技艺，可以很好地将共性和差异抽离，让整个流程更加顺畅。

可阅：“函数式+泛型编程：编写简洁可复用的代码”

质量属性

性能

常用的提升流程性能的手段如下：

• 快速过滤或去重。
• 正确的索引（必要索引，联合索引，减少不必要的索引及索引字段）。
• 内存数据结构和算法降重优化。
• 加缓存。
• 并发（串行变并发，线程池）。
• 异步（同步变异步，将次要部分从主体流程中分离）。
• 批量处理（单个变批量）。
• 确保表设计合理（大小维度的表分开）。
• 合并重复流程（避免重复文件上传或下载、重复创建同一个对象）。
• 合并重复调用（重复查询同一条记录）。
• 加检测结果库（黑白名单），避免重复检测。
• 精简流程
• 使用 arthas trace 命令测量方法 RT，找到性能热点区域，专项优化。
  
  

稳定性

• 对接口添加限流。
• 使用消息中间件削峰填谷。
  
  

可扩展性

• 使用 Dispatcher-Handler 模式。多线程并发模式中，可以在 Dispatcher 中分发任务给不同的 Handler ，Dispatcher 在主线程中执行，不同的 Handler 在不同的线程中执行。 Channel 并发模式中，可以通过 channel 将任务分给不同的 channel ，不同的 Handler 消费不同的 channel 里的任务独立执行。

业务流程构建的四个注意事项

• 闭环：如果流程有任务状态，则必须让任务状态最终落在完成或失败，避免滞留在中间状态。
• 并发：多个线程访问共享资源，要保证数据正确性，必要的地方要加同步。
• 异步：如果流程比较耗时，则需要拆分成异步，保证响应的体验。
• 多节点： 考虑多节点情形的处理，必要时候需要分布式锁。
  
  

闭环问题

当流程中的某个操作失败后，就会导致整体流程无法完成，停滞在某个点上，无法闭环。

闭环的解决思路：

• 直接失败。对于不能重试（可能导致资损）的情形，直接失败是最简单有效的办法。
• 重试、设置最大失败次数。对于可重试场景，可间隔一段时间重试一次，达到最大失败次数则设置为终态失败。
• 保存点。设置保存点，失败之后可以从保存点重续执行，最终达到终态成功。
• 回滚。作为事务，失败时回滚到最初一致状态。
• 超时失败定时任务机制。如果超过指定时间，则更新任务状态为失败，原因是超时。超时需要与更新时间做比较。
  
  

并发

• 如果有大量数据要获取或者处理，通常需要采用并发来提升性能。
• 并发线程获取要设置超时时间，避免网络不佳时长时间阻塞。
• 如果有多个线程或者多台机器同时访问同一条记录，则需要加锁（行锁或分布式锁）。
  
  

异步

• 不同端的通信，通常采用异步的方式。比如前端是通过 ajax 来异步拉取服务端数据。服务端要发送指令给客户端，也是先下发指令，等客户端完成后，返回给服务端回调消息进行后置处理。
• 耗时操作。耗时操作如果采用同步，则很容易超时导致失败。一般采用异步来分离。
• 高并发操作。高并发情况下，为保证核心流程的TPS，可以将非核心流程读写用异步分离出去。
• 次要操作。一个长流程中，有一些次要操作，不影响最终结果，可以通过异步分离出去单独处理。
• 异步要注意多操作间的时间差问题。两个操作是异步的，在一个操作完成后在页面查看另一个操作的结果时可能会不一致。比如上报一条告警同时异步上传一个文件。当告警入库展示在页面时，文件上传可能未完成，这时候文件是无法下载的。还有一种情形是两个线程同时更新同一条记录的状态，一个线程可能会覆写另一个线程写入的状态。这个写入顺序的不确定会导致最终记录状态的不确定。
  
  

多节点

• 避免读写本地缓存。因为缓存只在单个 JVM 里，其它机器上读不到该缓存，就会导致问题。
• 只读本地缓存。本地缓存通常从公共数据库中获取和建立。
• 采用外部存储来同步。比如使用 redis 来存储会话、做分布式锁。
• 采用中间件来通信和解耦。
  
  

流程不是一成不变的

随着需求变更，流程会反复更改。因此不要局限于流程的现有实现。当遇到不合理之处时，大胆质疑和改造优化，是为上策。

小结

流程千变万化。掌握基本的流程模式和复杂流程的构建方法，熟悉一些注意事项，辅以并发、异步、同步、消息中间件通信，没有什么流程是搞不定的。