我的物联网项目(二十三) 统计数据优化

平台无论是城市合伙人，还是商家，都有大量的统计数据的需求，比如统计商家一个月的总金额收入，投币消费总金额，微信扫码消费总金额等。这块的优化也一直在做，大概分为这么几个阶段。

1.实时count统计订单表

1.0平台当初2个月的时间开发完毕并上线用的就是这种方式统计数据。当时的订单量并不大，所有涉及到统计相关的数据都是实时的通过SQL去订单表COUNT或者SUM出来，前面1，2个月基本没碰到什么问题，也一直没怎么去管它。

2.每天定时任务统计

在2.0平台上线不久，问题立马就暴露出来了，经常反应说有统计数据的页面反应都很慢甚至异常超时，当时讨论业务场景可以给做一个统计表，每天凌晨通过定时任务去统计所有城市合伙人和商家的相关数据，对于合伙人和商家来说，当天查看的都是前一天的数据，当天的统计数据要第二天才可以更新。后面随着人数的增加，订单数据量的增加，每天凌晨统计数据由原来的10几分钟到1个多小时，后面还在增加，另外外面合伙人和商家的需求也越来越明确就是要实时看数据，不能容忍隔一天再看。

3.通过MQ异步实时统计

MQ是个好东西，很多异步场景业务都可以用它来解决。用户下单，涉及到用户扣费，城市合伙人和商家的劈帐分成，都是通过MQ异步解决。详情见 我的物联网项目(十四) 分布式事务，同样的道理，统计数据也可以通过MQ去实时更新，到目前为此，用这种方案平台依然是稳定的，数据都正常。

以上的都是业务统计数据，还有些场景不是实时性很强，而且需求也是千奇百怪，而且不是刚需，可能统计一次下次不需要的，像这些情况，平台都是通过人工将各数据库的表比如用户表，商家表，订单表，设备表等导出来，一起放到一个新的统计数据库，然后再通过SQL去做查询，去做分析，一般很多数据分析场景通过这种方式的比较多。