C#.NET 大型通用信息化系统集成快速开发平台 4.1 版本 - 大数据支持分表优化
2014-06-26 23:03 通用C#系统架构 阅读(3347) 评论(1) 编辑 收藏 举报有一种需求是需要处理海量数据、现在有这样的需求有实力的单位都开始用大数据相关技术。自己没大数据能力也可以采取花钱办事思路直接采取云服务上的大数据处理能力,花钱购买就可以了,简单省事。
1:有足够多的服务器处理数据。
2:这些足够多的服务器进行了集群、同时进行运算。
3:想要什么结果,类似sql语句一执行、海量数据第2天绝对能出结果了、T+1的数据处理,第2天能知道前几天的数据的处理结果。
当然又没钱也没实力、也没那么多费用购买服务器、大数据软件产品的、就需要靠自己的勤奋、对付实际应用需求来解决问题。
公司的短信平台,数据量越来越大了,需要对数据进行一些优化,下面是拆分后的数据库量参考(就一台普通服务器、能正常运转公司的某个业务能力了也是挺好的事)。
新开发的软件模块,必须支持分表,拆表的功能一个数据表里,不适合保存1000万以上的记录新开发的业务模块,能分表的全分表,否则,将来我们无法用其他小型数据库,例如mysql
现在系统的短信已经进行了拆表接着打算把日志也进行拆表确保数据库里,没有庞大的表,随时可以切换数据库。
每个人把自己负责的事情,做到自己能力的及至,做到部门能力的及至,公司能力的及至,就很有希望了有时候我说话很随意,但是一般会注意,我说出去的话,会不会打击人家的工作积极性,大家人家的兴趣爱好,不要给热情工作的小活子泼冷水什么的,尽量是鼓励。
我们传递参数时:
1: 不要传递网点的编号,尽量传递id, 因为编号是可以修改的, 修改了编号,数据都对不上了。要传递Id.
2: 用户的编号也是可修改的,也是要传递Id,科学。
UserId, SiteId