时不待我 天道酬勤

没有多少时间可以虚度了....

导航

尝试数据分片处理

Posted on 2013-03-15 15:17  jadesun  阅读(487)  评论(0编辑  收藏  举报

手册的容量描述:首先系统会保存操作人员每一页的版本内容,也就是说,每一页内容在编辑保存之后,就会新生成一条记录,之前的记录变成了历史版本沉淀下来。从我们之前的调研(仅股份的三个部门)来计算,我们项目在上线的第一年里,磁盘的存储量会达到1T以上。据甲方的规划,该系统会扩大至整个股份乃至航空板块,甚至集团。在这儿容量会以T来翻倍计算,所以存储方式是该项目的一个重点问题。

        解决方案:经过调研,原来的设计不满足数据切片的要求,做了如下的修改:

解决方案的目的:通过扩充数据库服务器,即可解决存储空间不足的问题。

        在如今,我们的开发框架是支持多数据库访问的,并且使用了SQL SERVER 2008新的特性FileStream(也有新特性的应用风险)FileStream技术让SQL SERVERWINDOWSNTFS文件系统完美结合起来。在数据库中写入一个二进制文件时,SQL SERVER系统会在NTFS磁盘中生成一个相应的二进制文件进行管理和索引,减轻SQL SERVER的压力。

另外,修改数据库的结构支持横向扩展,如下设计:

 简单描述一下思路:

1,  手册拆分成章节和页码。

2,  页码和内容之间加入一个控制器,用于索引内容在哪个数据库。

3,  横向扩展一个数据库时,需要在数据库服务器信息中增加记录。开发框架支持多种数据库。

4,  在读取页里面的内容时,会通过控制器去不同的数据库中查找相应的内容。

 

风险:

1,  全文索引会有很大的麻烦。需要先将内容聚合。当前这一期没有全文索引的要求