小白鼠条件:
以常见的树形结构树为例:
有两张结构相同的表table1(1w数据),table2 (2w数据),需要对比数据差异。
表结构如下:       id , parent_id, col1, col2, col3
 
常规做法是:
      
 
 
常规思想:
       循环table1,
一、充分利用缓存效果;
操作系统的高速缓存、磁盘缓存等等,都是利用混存技术来提高系统响应速度。充分利用缓存可以大幅提高系统的响应时间。口说无凭,还是找一个小白鼠来看看:
 
现有系统中有很多地方有“刷新”的菜单,这个就是为了刷新缓存数据预留。
一个现实的事例就是一个报表系统优化后,采用数据缓存后。用4-5小时不能出现的数据,现在用几十分钟就能出所有的数据了。
 
单独使用dt.Select(conditinos) 进行数据过滤时,并不能成为性能的瓶颈,但是如何频繁调用 dt.Select(condtions) 则需要注意对性能的影响了。
曾经遇到过这样的数据, 由于其他原因,需要把当前符合条件的数据全部读取出来(10w 左右的数据),由于数据结构中已经设定了 tree 的模型,所以需要把datatable 转换成 tree ,这样需要不断的循环递归查找所有子节点,类似如下:
Demo:
       Foreach (DataRow parent in dt.Rows)
{
String conditions = String.Format(“parent_id = {0}”, parent[“id”].ToString());
DataRow[] rowsChild = dt.Select(conditions);
Foreach(DataRow child in rowsChild)
{
// do any thing you want.
}
}
 
你会发现,此处代码将严重影响性能。
解决办法,直接在外面用 缓存,创建一个 Hashtable <parent_id, DataRow> 于是内层的循环就可以直接在 Hashtable 中找数据,这样可以大大提高相应的速度。
 
二、进行预处理过程;
观察后续处理过程,增加预处理过程,将频繁处理的数据进行预处理。理论同上。
三、大数据量分“页”处理
来源于网页制作过程中的思想。现在系统中有很多地方有它的影子,操作系统里的页,数据库的事物处理过程,都是将大化小,小化了。
四、了解编程语言细节差异
五、良好的架构
对于系统中的设计,需要尽量避免UI层去了解数据结构方面的问题。比如:
设计一:良好的设计
Public class Item
{
Private int mID = 0;
 
/// Just for Business layer
Public Item(DataRow row)
{
This.mID = ((IConvertible)row[“id”]).ToInt32(null);
}
 
Public int ID
{
Get
{
Return this.mID;
}
Set
{
This.mID = value;
}
}
}
 
设计二:
Public class Item
{
Private DataRow mData= 0;
 
/// Just for Business layer
Public Item(DataRow row)
{
This.mData = row;
}
 
Public int Data
{
Get
{
Return This.mData
}
Set
{
This.mData = value;
}
}
}
 
这里推荐使用一,在二种,已经暴露了数据库实现的细节问题了。在 UI 层操作使用的时候必须知道每个 Data 里面所对应的表结构,否则就会出现问题。而一中可以建立对应关系,一个 Column一个属性,这样直接操作 Item.ID 就可以了。而且以后使用时也比较方便。
 
Ps: 设计 二 也可以引起性能问题:
Public int Layer
{
Get
{
Return mData.IsNull(“Layer”) ? 0 : Convert.ToInt32(mData[“layer”]);
}
}
 
虽然一个简单的 Item.Layer 也可能造成系统性能的瓶颈。调用次数少则可以,但是如何调用这个属性进行判断时候需要达到 100w 或则达到了 1000w 呢? 任何一个小的性能改进就会被无限放大。
 
 
 
posted on 2008-04-17 13:06  孤剑  阅读(289)  评论(0编辑  收藏  举报